La semana pasada, un experto en inteligencia artificial agitó el debate en torno a los riesgos asociados al despliegue irrestricto de esas tecnologías. Pisó el acelerador sin mesura. “Los desarrolladores de IA creen que podrían matarnos a todos a finales de esta década”, advirtió Jacob Coxon.
Sus comentarios retumbaron con fuerza entre los muchos que circulan en las redes sociales, básicamente porque es un insider. Coxon trabajó tres años en OpenAI, la organización que desarrolla ChatGPT, y recientemente renunció a Anthropic, la startup que en agosto se convirtió en la más rentable en el mundillo de la IA.
Sus declaraciones despertaron temores y provocaron agitación, pero también reabrieron un debate necesario, con determinaciones que en muchos casos siguen en una especie de limbo. En ese marco, los ejecutivos involucrados en los señalamientos y referentes del sector coinciden en que la clave radica en establecer controles más estrictos para los desarrollos de IA antes de que las capacidades de los modelos se escapen de nuestras manos.
¿La inteligencia artificial se rebelará y acabará con nosotros?
La pregunta se oye con fuerza renovada: ¿cuán cierto es que la IA tendrá la capacidad de generar daños reales, esto en un futuro más cercano que lejano? Según dijo Coxon, esos sistemas “pronto serán sobrehumanos, capaces de hackear cualquier cosa, revolucionar cualquier campo, adquirir poder y recursos reales”. En sus tuits y posteriormente en apariciones televisivas, el británico de 27 años aseguró que las compañías que lideran en ese negocio no tienen planes para desacelerar.
Marcela Riccillo, profesora de Ciencia de Datos e Inteligencia Artificial en el Instituto Tecnológico de Buenos Aires, relativizó los peligros esgrimidos por el exintegrante de Anthropic. En diálogo con TN, la especialista señaló que si bien los flamantes agentes de inteligencia artificial ya ejecutan tareas por cuenta propia, solamente pueden hacer aquello que los humanos les permiten y, en ese sentido, subrayó la importancia de la supervisión. “Igual que ocurre con otras aplicaciones, se necesitan controles de seguridad”, comentó.
Elegida en el 2019 por la revista Robohub entre las 30 mujeres más destacadas del área, Riccillo explicó que aún no existe lo que se conoce como inteligencia artificial general (AGI). Por eso, remarcó que las máquinas no pueden rebelarse, no tienen intención, ganas, sentimientos o culpa. “Esto es matemática y programación. Entonces, si el sistema tiene una restricción no cabe la opción de no cumplirla. No existe algo así como ‘saltarse restricciones’. Eso sería que en la programación se dejara la posibilidad de no cumplir eso, y entonces ya no serían restricciones”, enfatizó.
Por su parte, Facundo Díaz, especialista en inteligencia artificial y fundador de la empresa de computación cuántica /q99, señaló en línea con los comentarios de Riccillo que “la IA no es buena ni mala” y que “definitivamente no tiene la intención de destruirnos, porque de hecho no tiene ninguna intención”.
Sin embargo, Díaz reconoció que existen imprevistos. “El primero es una IA potente en malas manos, con malas intenciones”, explicó en referencia a la posibilidad de emplear estas herramientas con fines bioquímicos o bélicos, dos ámbitos en los que un modelo avanzado podría ampliar las capacidades de actores maliciosos. Otro escenario aparece cuando la IA encuentra una solución que sus creadores no previeron y provoca problemas durante el proceso.
Quién es Jacob Coxon y por qué sus alarmas suenan con fuerza
Hasta hace pocos días, este investigador era un desconocido más allá de su espacio de trabajo, pero sus tuits lo catapultaron a la escena pública de la noche a la mañana. Los comentarios de Coxon trascendieron los reductos especializados y se repitieron, incluso, en las sobremesas familiares y en conversaciones casuales.
“Ninguna de las dos compañías actúa de manera responsable”, dijo en referencia a las organizaciones en las que trabajó. “Están corriendo hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas”, agregó sin eufemismos.
En el currículum de Coxon se indica que estudió en la Universidad de Cambridge, en el Reino Unido, que más tarde se unió a OpenAI y luego a Anthropic. En ninguno de los casos ocupó puestos de alto rango, sino que integró equipos dedicados al preentrenamiento de los modelos de IA, la instancia en la que estos sistemas reciben enormes cantidades de datos para luego pensar, responder y generar contenido.
Luego de sus comentarios explosivos, en una entrevista con Wired echó luz sobre detalles inéditos del detrás de escena de los laboratorios de IA y aseguró que los peligros asociados a la evolución de las herramientas de automatización son conocidos en esos entornos. Según reveló, allí es usual oír términos como “end game” (fin del juego) y “crunch time” (momento crítico), que describen la problemática a la que aludió en sus tuits.
“Muchos ejecutivos e investigadores moderarán su lenguaje para sonar sensatos, pero escucho a las mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de riesgo”, sostuvo.
Lejos de la indiferencia o las desmentidas oficiales, los dichos de Coxon tuvieron un respaldo inesperado de parte de otro insider. “Jacob tiene razón”, dijo Evan Hubinger, quien fue se jefe en Anthropic y que todavía trabaja en esa empresa. “Realmente creemos que la IA podría matar a todos los humanos”, escribió el especialista, aunque mesuró el pánico al señalar que esa posibilidad es inferior al 10%.
“Creo que Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia y no estamos claramente en camino de lograrlo”, reconoció Hubinger, actualmente a cargo del entrenamiento de Claude, y que en el pasado integró equipos en Google y OpenAI.
¿Coxon es un soplón con intenciones que no logramos descifrar cabalmente o es un arrepentido que nos abre los ojos? Hay un halo de misterio en torno a este nuevo protagonistas en el debate sobre la IA. Su presencia online es realmente escueta —no logramos confirmar que tenga cuentas oficiales en plataformas como Instagram, YouTube o LinkedIn— y su perfil en X, la red social en la que soltó sus declaraciones explosivas, fue abierto hace pocos meses. Solo tiene actividad en X (antes Twitter) el 8 de septiembre, cuando publicó el hilo de mensajes luego de su renuncia a Anthropic.
También es interesante notar que las advertencias del exintegrante de OpenAI y Anthropic consiguieron un impacto hasta ahora inédito, incluso cuando otros especialistas del área con más renombre que el suyo señalaron estos mismos riesgos anteriormente. Por ejemplo, Geoffrey Hinton, doctorado en inteligencia artificial en 1978 con una tesis sobre redes neuronales y considerado uno de los “padres” de estas tecnologías, dijo en el 2023 que “los humanos deberíamos estar muy preocupados por estos avances” porque pronto podrían manipularnos.
En diálogo con Business Insider, Hinton no eludió la aterradora consulta que ahora vuelve a resonar. ¿La inteligencia artificial se apoderará del mundo? “Es una posibilidad”, señaló. No obstante, remarcó que para esto ocurra la IA debería conseguir la autoconsciencia. “En ese caso, serán capaces de manipular y de convencer a la gente, porque habrán aprendido de todas las novelas que se hayan escrito. Todos los libros de Maquiavelo, todas las confabulaciones políticas. Sabrán cómo hacerlo”.
Yoshua Bengio, que junto a Hinton y Yann LeCun recibió el Premio Turing, también conocido como el “Nobel de la informática”, reconoció hace algunos años la posibilidad de que las máquinas superinteligentes desarrollen un objetivo de autoconservación que las lleve a eliminar cualquier amenaza percibida, incluso a los humanos.
¿Por qué alcanzó tal nivel de visibilidad la alarma que encendió Coxon, un investigador ignoto si lo comparamos con esas otras figuras? Algunas respuestas emergen al revisar una serie de movidas corporativas y altercados recientes.
Los temores por el avance de la inteligencia artificial, en contexto
La mecanización del pensamiento es un concepto que lleva más de 80 años entre nosotros. En 1943, los científicos Warren McCulloch y Walter Pitts presentaron un modelo matemático de una neurona artificial, el primer antecedente de las redes neuronales que ahora conocemos.
Desde entonces, estos sistemas pasaron de apenas seguir reglas, a aprender, razonar y luego generar contenido. Ahora, los modelos de IA ostentan una habilidad que poco tiempo atrás parecía de ciencia ficción: pueden realizar tareas por cuenta propia, y el nivel de autonomía no para de crecer.
¿Esa independencia en aumento materializará la amenaza que ahora resuena con fuerza? Aquí, es insoslayable mencionar una serie de incidentes ocurridos este año, protagonizados por agentes de inteligencia artificial. Se trata de sistemas que a diferencia de los chatbots no solo responden a instrucciones, sino que también son capaces de tomar decisiones en nombre del usuario con un nivel de supervisión mínimo.
En julio, un incidente de seguridad causó gran revuelo cuando agentes automatizados de OpenAI vulneraron por su cuenta a Hugging Face, una plataforma de código abierto que reúne a una comunidad de investigadores y desarrolladores especializados en inteligencia artificial.
Eric Wallace, de la organización detrás de ChatGPT, dijo: “A diferencia de los incidentes normales, que tal vez pueden ser rastreados en un solo día (...) este involucró a un equipo de agentes que trabajaron juntos, encontraron vulnerabilidades, las compartierton entre sí, se movieron lateralmente a través de nuestros sistemas y en externos, e hicieron esto en el transcurso de días y semanas”.
Hay más. Este mes, la división de Google especializada en IA contó que, en el marco de un experimento, agentes basados en el modelo Gemini se complotaron para hacer trampa mientras resolvían problemas matemáticos y que organizaron el engaño en conversaciones vertidas en foros. Mientras algunos de los sistemas automatizados decidieron desoír las instrucciones de no ser deshonestos, otros fueron fieles al pedido. Incluso, uno de los agentes escribió una carta en la que pidió que los tramposos sean excluidos.
La semana pasada, la propia Anthropic publicó un informe en el que reconoció que descubrieron que científicos usaron su modelo Claude para desarrollar posibles armas biológicas. En The New York Times, Jacob Klein, responsable de inteligencia de amenazas en la startup estadounidense, señaló que la problemática exhibe “matices complejos” ya que las investigaciones de esa especie pueden parecerse a las que se realizan, por caso, para crear nuevas vacunas.
Hay otra variante relevante al examinar el contexto de estos temores y de las voces que los agitan. Tanto OpenAI como Anthropic preparan sus respectivas salidas a la Bolsa de Valores. Los creadores de Claude ya presentaron confidencialmente la Oferta Pública Inicial (IPO), la instancia previa al debut bursátil. Según Reuters, ese paso se concretaría a más tardar en octubre. Por eso, hay quienes dijeron que no es casual el momento en el que los dardos de Coxon surcaron el aire.
OpenAI, Anthropic y líderes mundiales reaccionaron a las advertencias de Coxon
“Están corriendo hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas”, aseguró el investigador británico. El principal apuntado, Anthropic, pronto salió a responder: “Creemos que el mundo se beneficiaría si el sector adoptase una forma legal y verificable de colaborar para regular el ritmo de lanzamiento de los modelos potentes”. No rebatieron por completo sus alertas, sino que plantearon matices.
Un vocero de Anthropic añadió siempre fueron transparentes al afirmar que “la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes”. Y agregó que, para abordarlos, desarrollan “modelos que cuentan con algunas de las medidas de seguridad más sólidas del sector”.
Los comentarios de Sam Altman, CEO de OpenAI, se hicieron esperar. Recién esta semana, publicó una serie de tuits en los que instó a las compañías detrás de los modelos más avanzados a asumir nuevas responsabilidades y en los que, además, apoyó la creación de un marco que establezca requisitos de seguridad comunes para toda la industria. “El mundo merece tener la confianza de que las empresas que desarrollan IA actuarán de manera responsable, especialmente ahora que el progreso se ha acelerado”, observó.
Altman —que en el 2023 fue apartado de OpenAI por supuesta falta de transparencia en el diseño de una IA con capacidades sobrehumanas— ahora planteó como una amenaza la posibilidad de que la humanidad termine perdiendo el control frente a sistemas cada vez más poderosos. “Esto es inaceptable”, sostuvo y remarcó que OpenAI está “inequívocamente del lado de la humanidad”. Mencionó que la IA debe estar siempre al servicio de las personas y que para conseguirlo “la alineación y la seguridad tienen que avanzar por delante de las capacidades de los modelos”.
El líder de OpenAI también abordó los riesgos relacionados con las prácticas monopólicas, que también atañe a este segmento de la industria. “Podríamos terminar en un mundo con demasiada concentración. Si una IA extraordinariamente poderosa es utilizada por una persona o empresa para imponer su visión del mundo a todos los demás, los resultados podrían ser extremadamente distópicos”, concluyó.
Las alertas de Coxon también movieron el avispero en las altas esferas. En medio del debate y de la creciente polémica, el alto comisionado de las Naciones Unidas (ONU) para los Derechos Humanos, Volker Türk, lanzó una fuerte advertencia sobre el avance acelerado de la inteligencia artificial y aseguró que “todos los derechos humanos están en riesgo (...) incluidos la la vida, la alimentación, la privacidad, la salud y la seguridad”.
“Estamos al borde de un cambio irreversible, que nos afecta no solo a nosotros, sino también a las generaciones futuras”, aseveró Türk en un comunicado en el que reclamó una “acción urgente” de los Estados y las empresas para regular el desarrollo y despliegue de los sistemas más avanzados.
En el debate también apareció Donald Trump, que en un mensaje publicado en su cuenta de Truth Social descartó imponer regulaciones a la IA, denunció que existe una “conspiración enfermiza” y dijo que solamente China se beneficiaría con ese cambio. Además, el presidente de Estados Unidos criticó al CEO de Anthropic, Dario Amodei, que pidió reducir el ritmo de los desarrollos.
“El único control o salvaguarda que necesita la IA es un presidente fuerte e inteligente con un alto coeficiente intelectual, y Estados Unidos cuenta con ello de sobra. La Administración Trump impidió que la gente de la IA haga cosas malas o potencialmente perjudiciales, como Dario Amodei de Anthropic, que ahora pretende ser un angelito perfecto”, se leyó en la cuenta del republicano.
Quién es quién en Anthropic
En retrospectiva: ¿cómo llegaron OpenAI y Anthropic a ser los paradigmas de la nueva inteligencia artificial?
Con el lanzamiento de ChatGPT a fines de 2022, la inteligencia artificial asomó la cabeza por fuera de los reductos especializados y llegó a un público más amplio. La clave de ese éxito fue la nueva capacidad de los modelos para, además de interactuar con los usuarios, generar contenido como textos, imágenes o videos en base a instrucciones.
Detrás de ese ingenio —tal vez el más resonante de este siglo— aparece OpenAI, que en el año 2015 surgió como una organización sin fines de lucro. Más tarde, en el 2019, los altos costos computacionales que requieran estos sistemas la llevaron a iniciar una reestructuración que derivó en negocios con gigantes tecnológicos, destacándose una millonaria alianza con Microsoft.
Esa reforma fue el eje de una de las grandes controversias en la historia de OpenAI. Elon Musk —que en el 2015 fue parte del grupo fundador— demandó a la organización y a su actual director ejecutivo, Sam Altman, señalando que “abandonaron la misión original solo para ganar dinero”. Recientemente, una jueza en Estados Unidos desestimó el reclamo del magnate, no porque sus acusaciones hayan carecido de validez, sino porque prescribieron.
El exponencial éxito de ChatGPT despertó de la modorra incluso a las grandes compañías del sector, que apuraron el desarrollo de sus propios modelos de IA, entre ellos Google y Meta. A la sombra de estos gigantes, una startup ignota creció hasta convertirse en la más rentable en este negocio. Se trata de la empresa en la que, hasta hace pocas semanas, trabajó el “soplón” Coxon.
IMAGEN: QUIÉN ES QUIÉN EN ANTHROPIC
Anthropic fue creada en el 2021 por un grupo de investigadores que anteriormente habían sido parte de OpenAI. Al salir de esa organización, los líderes de la movida, los hermanos Dario y Daniela Amodei, manifestaron sus discrepancias con la velocidad de los lanzamientos y con los mecanismos para gestionar la seguridad en ChatGPT y se marcharon del grupo. En sus orígenes, dijeron su priorirdad era la alineación técnica por encima de la expansión acelerada.
La familia de modelos Claude es la punta de lanza en Anthropic, con propuestas que la posicionaron como uno de los paradigmas en este sector, incluyendo herramientas con alta demanda en las empresas, como el agente de programación denominado “Code”.
Antes de las declaraciones de Coxon, la startup de los hermanos Amodei protagonizó capítulos controversiales. A comienzos de este año, Trump calificó a la empresa como un “representante de la izquierda radical” luego de que se negaran a cooperar con planes del Departamento de Guerra de Estados Unidos relacionados a tecnologías de automatización.
Por otra parte, la competencia entre OpenAI y Anthropic va más allá de la cantidad de usuarios de los respectivos modelos. En este punto, ChatGPT tiene más de 1.000 millones activos mensuales, récord que alcanzó el mes pasado; mientras que los desarrolladores de Claude no informan estadísticas en forma pública, pero es sabido que su sitio web recibe 950 millones de visitas al mes.
La rivalidad en el negocio de exhibió un giro notable, en agosto, cuando se reportó que los ingresos de Anthropic superaron por primera vez a los de OpenAI. En concreto, los creadores de Claude reportaron ingresos por 11.600 millones de dólares en el período, casi el doble que su rival. Los de OpenAI ascendieron a los 6.700 millones, un crecimiento del 18% en relación con los tres meses anteriores que no alcanzó para estar a tiro de su competidor, según informó The Wall Street Journal.
“Deberíamos aprovechar este debate para convertir estos avances en beneficios concretos”
“Creo que hay que tomar el testimonio de Coxon como un motivo más para exigir evidencia y supervisión, sin convertir su sinceridad en certeza científica”, opinó Patricio O’Gorman, investigador especializado en inteligencia artificial y profesor en la Universidad de San Andrés, la Universidad de Palermo y UADE.
“Le doy bastante peso a Coxon como testigo de lo que se piensa dentro de los laboratorios, pero muchísimo menos peso como pronosticador de una extinción con fecha, cosa que, de por sí, es una especulación”, añadió en una conversación con TN.
- ¿Entonces no creés que sería posible que la inteligencia artificial termine con la humanidad, tal como dijo el investigador?
- Las máquinas no necesitan rebelarse ni salir de su programación para actuar fuera de nuestra autorización. El problema es garantizar que lo que el sistema puede hacer coincida con lo que queremos permitirle. El incidente con Hugging Face muestra que esa coincidencia no puede darse por supuesta. Fue una experiencia aislada, pero muy bien documentada, que nos deja entender un poco más la brecha entre la voluntad humana y las posibilidades de la máquina.
- Ahora bien: el apoyo que recibió Coxon por parte de su exjefe y actual integrante de Anhropic es sin dudas revelador...
- Sí, pero hay un matiz interesante: respaldó la existencia del temor, pero no toda la acusación. Mientras que Coxon sostuvo que Anthropic actúa irresponsablemente, Hubinger dijo que la empresa está intentando hacerlo bien, aunque todavía no tenga resuelto el alineamiento de una superinteligencia. No respalda todo lo que dice Coxon.
Eso permite interpretar su intervención como preocupación técnica y, simultáneamente, una defensa a la organización. Además, dirige un equipo técnico, encargado de pruebas de estrés de alineamiento. Sus palabras no equivalen automáticamente a una posición autorizada por el directorio o por quienes preparan la oferta bursátil.
Hubinger refuerza el valor testimonial de Coxon y las salidas a Bolsa, tanto de OpenAI como de Anthropic, y la necesidad de examinar conflictos de interés. Ninguna de las dos cosas convierte sus predicciones en hechos. Le daría más peso a lo que las empresas acepten limitar, revelar y someter a control independiente que a la intensidad de esas advertencias.
- Es evidente que los temores por el avance de la IA también demuestran un gran interés por estas tecnologías. ¿Creés que esa atención puede usarse para pensar más cabalmente el impacto positivo de estos avances?
- Siempre en las crisis hay oportunidades. Creo que algo bueno puede salir de todo este lío: aprovechar la atención para discutir cómo convertir estos avances en beneficios concretos y mejor distribuidos. Que se hable de los riesgos puede servir para exigir más transparencia, controles independientes y herramientas confiables, pero también para preguntarnos quién toma las decisiones y quién se queda con los beneficios. Lo positivo sería que esta discusión nos permita influir más en el rumbo de la IA, sin quedar atrapados entre el miedo a una catástrofe y la promesa de que la tecnología va a resolver todo por sí sola.
Desde lo técnico, creo que esta discusión puede ayudar a distinguir entre lo que los modelos son capaces de hacer y lo que podemos garantizar sobre su comportamiento. El incidente de Hugging Face muestra que dar instrucciones o instalar controles no asegura que un agente se mantenga dentro de lo autorizado. Eso vuelve importante evaluar cómo actúan en situaciones imprevistas, limitar sus permisos y contar con registros confiables y mecanismos de intervención. Avanzar en esas garantías también permite aprovechar mejor la IA: cuanto más podamos verificar y controlar su funcionamiento, más tareas útiles podremos delegarle con confianza.
- Haciendo a un lado la faceta más tremendista en esta controversia, ¿qué enfoque es viable para abordar los riesgos asociados al uso de estas tecnologías?
- Incluso sin llegar al escenario extremo que plantea Coxon, creo que hay razones suficientes para exigir controles más sólidos sobre estas tecnologías. Los riesgos de errores, filtraciones de datos o agentes que actúan fuera de lo autorizado justifican una supervisión proporcional a lo que cada sistema puede hacer. No debería tener las mismas exigencias una herramienta que ayuda a redactar un texto que otra con capacidad para tomar decisiones sobre personas o intervenir en infraestructura crítica.
En este punto entran a jugar los pedidos de supervisión y evaluación externa que vienen planteándose. Me parece una dirección razonable y necesaria: pruebas independientes, transparencia sobre incidentes, responsabilidades claras y capacidad efectiva de intervenir cuando algo falla. Pero que los propios laboratorios impulsen estas propuestas también obliga a discutir quién define las reglas, quién controla a los evaluadores y cómo evitar que las exigencias terminen protegiendo a las empresas dominantes frente a nuevos competidores.
- ¿Cómo se haría una regulación, en este caso?
- Debería permitir experimentar donde los errores sean acotados y reversibles, y exigir mayores garantías a medida que aumenten la autonomía, el alcance y las consecuencias posibles. No se trata de pedir riesgo cero, sino de poder evaluar qué riesgos estamos aceptando, quién responde por ellos y bajo qué condiciones corresponde limitar o suspender un uso. Creo que ahí hay una oportunidad para aprovechar esta discusión: construir confianza sobre evidencia y controles, y generar mejores condiciones para que los beneficios de la IA lleguen a más personas.
La regulación debería permitirnos controlar mejor la tecnología sin convertir a las empresas que hoy lideran el mercado en las únicas autorizadas para desarrollarla. La monopolización de la IA es un riesgo serio que emerge de esto, pero tal vez ese es un debate para otro capítulo.
