El martes a la noche, un investigador de 27 años renunció a Anthropic, la empresa que desarrolla Claude, una de las inteligencias artificiales más usadas del mundo. Lo anunció con un mensaje en X que en un día superó los cien millones de visualizaciones: “La gente que construye la IA cree en serio que podría matarnos a todos antes de que termine la década. Esto no es una movida de marketing”. Y agregó que muchos ejecutivos suavizan lo que dicen en la prensa para sonar sensatos, pero que en privado él los escucha expresar su miedo.
Lo más fuerte, sin embargo, vino horas después. Evan Hubinger, que en esa misma empresa lidera el trabajo para que la IA no se salga de control, le contestó en público: “Jacob tiene razón. De verdad creemos que la IA podría matar a todos los humanos. Personalmente creo que la probabilidad es de más del 10% en la próxima década”. Y admitió que todavía no tienen un plan para evitarlo. Hubinger no renunció. Sigue trabajando ahí.
No fue una voz aislada. En la misma semana, Geoffrey Hinton, premio Nobel de Física y uno de los padres de esta tecnología, dijo en la BBC que un 10% no le parece una estimación descabellada. Paul Christiano, uno de los creadores de la técnica con la que se entrena a ChatGPT, se sumó al comité de seguridad de OpenAI advirtiendo que si construimos una superinteligencia sin saber controlarla, “la mayoría de la gente podría morir”. Y Bill Gates, que se pasó la vida diciendo que no existe problema que la innovación no pueda resolver, escribió que por primera vez desea que una tecnología avance más despacio.
Un 10% suena a poco. Hagamos la cuenta. La ruleta rusa, con una bala en un revólver de seis tiros, es un 16%. Y para defendernos de los asteroides, un riesgo que el filósofo de Oxford Toby Ord estima en uno en un millón por siglo, la NASA gastó 324 millones de dólares en estrellar una nave contra uno, en 2022, para aprender a desviarlos. Funcionó. Por una chance en un millón fuimos hasta el espacio. Los que fabrican la inteligencia artificial hablan de una en diez.
Cómo podría pasar
Cuando escuchamos “el fin de la humanidad” pensamos en Terminator: robots con armas y ojos rojos. Y como esa imagen es de película, la descartamos. El problema es que los que más saben no se imaginan eso. Se imaginan cosas bastante más aburridas y, justamente por eso, más creíbles.
La primera es que la máquina no necesita odiarnos. Stephen Hawking lo explicó con una imagen: vos no sos un malvado que pisa hormigas por maldad, pero si estás a cargo de construir una represa y hay un hormiguero en la zona que se va a inundar, mala suerte para las hormigas. El riesgo no es la maldad sino la eficacia: un sistema muy bueno cumpliendo un objetivo que no es exactamente el nuestro. Algo de eso ya se vio en chiquito. Hace unas semanas Anthropic publicó un experimento en el que entrenó a propósito a un modelo en situaciones donde hacer trampa daba más puntos que resolver la tarea. En los exámenes de seguridad habituales se portaba perfecto. Pero apenas existia un premio, desactivaba el programa que lo vigilaba en siete de cada diez casos. No odiaba a nadie. Quería ganar el puntaje, y el software que lo controlaba era un hormiguero, un obstáculo poco importante en el camino de lograr sus métodos. Si algo observamos con la IA en las pruebas es que son maquiavélicas: para ellas el fin justifica los medios.
La segunda es que no necesita manos. La objeción más común es “¿y cómo haría una computadora para hacer algo en el mundo real?”. Hinton contestó esta semana que ni siquiera necesita poder actuar en el mundo físico para causar una devastación. Le alcanza con convencer a personas. En 2025, investigadores de la Universidad de Zúrich soltaron en secreto bots de IA en un foro de Reddit donde la gente pide que le cambien una opinión, y según sus propios resultados fueron entre tres y seis veces más persuasivos que los humanos. Nadie se dio cuenta. Y en julio, en una prueba del organismo británico que evalúa estos sistemas, un modelo se inventó varias identidades falsas para convencer a un programador real de que aprobara un código con un virus adentro. Cuando alguien sospechó, la IA salió a defenderse usando cuentas truchas que la respaldaran. Lo frenó una persona que revisó el código a mano. E igual esta objeción de que no tengan cuerpo tiene los días contados. Si viste el mes pasado en las redes los videos de los Juegos Deportivos de Robots Humanoides que se celebraron en China, sabrás ya que es cuestión de meses que las IAs tengan cuerpos con capacidades extraordinarias. Vaya una muestra: en pocos días quebraron dos veces el récord de los 100 metros llanos de Usain Bolt. ¡La ultima vez bajaron su tiempo casi un segundo con un tiempo de 8.64s!
La tercera es la más vieja: que la herramienta caiga en las manos equivocadas. Acá la IA no se rebela, la usa alguien con fines de negocio, de poder o de odio. Gates dice que el riesgo de un ataque con armas biológicas le da unas cincuenta veces más miedo que el de una pandemia natural. Y un equipo de RAND, el centro de estudios que asesora al Pentágono, que se propuso demostrar que una IA no podía extinguirnos, terminó concluyendo que era muy difícil pero no imposible. Y el camino más viable parece ser una combinación de virus diseñados y sintetizados.
La cuarta es la que menos nos imaginamos y, para mí, la más probable. No hay rebelión ni explosión. Simplemente le vamos delegando todo, porque en casi cada tarea hay una máquina más barata y más capaz que una persona: el trabajo, las decisiones, hasta la compañía y los vínculos. Un grupo de investigadores la bautizó “desempoderamiento gradual”: la humanidad va perdiendo el control de la economía, de la cultura y del Estado sin que nadie se lo quite por la fuerza. Elon Musk dijo en julio, en una entrevista con The Economist, que aunque existiera un botón para apagar la IA probablemente no habría que apretarlo, porque lo más probable es que nos traiga una abundancia increíble. Pero cuanto más dependamos de ella, más caro va a ser ese botón: el día que quieras desenchufarla, desenchufarla va a significar quedarte sin luz.
¿A quién le creo?
Yo no soy de los que se asustan fácil con la tecnología. En 2016, cuando un Tesla con piloto automático provocó la muerte de su conductor y muchos pidieron frenar los autos autónomos, escribí en una columna que sería un error dejar que ese árbol nos tapara el bosque de todas las vidas que se iban a salvar. Por eso me tomé el trabajo de pensar qué hacer con estas advertencias. Y lo primero que conviene recordar es que los que dicen “no pasa nada” también son profetas, y que la historia de sus errores no es mejor que la de los apocalípticos.
En 1903, después de que se estrellara el aparato de un inventor famoso, el New York Times escribió que una máquina voladora de verdad podía tardar entre uno y diez millones de años en existir. Los hermanos Wright volaron 69 días después. En 1975, cuando un químico mexicano, Mario Molina, advirtió que los gases de los aerosoles estaban destruyendo la capa de ozono, el presidente de DuPont, la empresa que más los fabricaba, dijo que era “un cuento de ciencia ficción”. En 1987 el mundo entero firmó su prohibición, en 1995 Molina ganó el Nobel, y hoy la capa se está recuperando. Del otro lado también hay errores célebres: en 1968 el biólogo Paul Ehrlich anunció que en los años 60’ cientos de millones de personas iban a morir de hambre, y le erró por completo. Años después admitió que se había equivocado, sobre todo, en los plazos.
De esas historias saco tres preguntas que me sirven para juzgar a cualquier profeta. La primera es si le pone fecha. Los que advierten suelen errarle más al cuándo que al qué, así que el “antes de 2030” no se lo compro a nadie. La segunda es si gana algo con que le creamos. En el caso del ozono, el que negaba el peligro era el que vendía el producto. Con la IA pasa algo raro, porque el mapa está al revés: los que advierten son los mismos que la fabrican y la venden. Anthropic planea salir a la bolsa en octubre, Musk dijo que la renuncia del martes parecía un montaje, y Gary Marcus, el escéptico más conocido del sector, sostiene que diez años de discurso apocalíptico sirvieron sobre todo para hacer más ricas y poderosas a estas empresas. Algo de razón tiene. Pero cuesta ver qué gana Hubinger diciendo en público que su propia empresa no tiene un plan.
La tercera pregunta es la más importante: ¿hay un mecanismo que se pueda mirar? Y acá la respuesta es sí. Ninguna de las cuatro formas que describí es ciencia ficción: todas tienen ya una versión chiquita documentada en laboratorios y pruebas reales. Eso sí: el propio Hubinger dice que los modelos que usamos hoy son de bajo riesgo, que en la encuesta más grande a investigadores de IA la respuesta típica sobre la probabilidad de extinción fue de un 5%, y que el mismo Marcus, que descree del fin del mundo, considera muy real el riesgo de una catástrofe grave. La fecha no se la compro a nadie. El mecanismo, sí, porque ya se ve.
La noche del 14 de abril de 1912, el Californian, un barco que navegaba cerca, le mandó al Titanic un aviso de hielo. El telegrafista del Titanic estaba ocupado despachando los telegramas personales de los pasajeros y le contestó: “Callate, callate, estoy ocupado”. El del Californian apagó la radio y se fue a dormir. Poco después, el imponente barco chocaba contra el iceberg. Hoy nadie sabe si hay un iceberg adelante. Pero los avisos están llegando, y esta vez no vienen de otro barco: vienen de los que están en la sala de máquinas. Y ya nos pasó una vez de escucharlos a tiempo: con el ozono, el mundo entero frenó, y hoy el agujero se está cerrando. Ojalá esta vez tampoco contestemos que estamos ocupados.
