El diálogo sobre los riesgos por el creciente nivel de autonomía de la inteligencia artificial suma nuevas voces. La más reciente es la del jefe de la división de IA en Microsoft, que lanzó críticas a los desarrolladores de Claude por especular acerca de capacidades del modelo propias de los humanos y no de las máquinas.
Mustafa Suleyman, que lidera la división de IA en Microsoft, dijo que comparte la visión de Anthropic respecto a la necesidad de avanzar hacia una gestión segura de estas tecnologías y opinó que la startup actúa con “seriedad y buena fe”. Sin embargo, observó que es problemático asociar a los chatbots con capacidades como la conciencia y los sentimientos, tal como hizo la compañía que lidera Dario Amodei.
“El objetivo es controlar a la superinteligencia”
Luego de que Jacob Coxon, exinvestigador en OpenAI y Anthropic, advirtiera que los sistemas automatizados conseguirán capacidades sobrehumanas esta misma década; el debate se encolerizó. El eje del debate son las superinteligencias, una instancia en la que la IA no solo responderá a las instrucciones e incluso realizará tareas en nombre de los usuarios, sino que podría complotarse con otras de su especie y rebelarse en contra de la humanidad.
La tan mentada insurrección de la inteligencia artificial no es pura especulación. El detonante de la discusión en curso fue un ataque que agentes de OpenAI realizaron por cuenta propia a la plataforma Hugging Face. Hay más casos: modelos basados en Gemini de Google que confabularon entre sí para resolver problemas matemáticos a pesar de las indicaciones de los desarrolladores para no hacer trampa; y el reciente reporte de la Agencia Española de Protección de Datos, que reveló el primer reporte de una intrusión en los sistemas de una empresa realizada por parte de IAs.
“Todos estamos centrados en el mismo objetivo: intentar controlar una superinteligencia”, dijo Suleyman en diálogo con Reuters. “Creo que ese será el mayor desafío al que nos enfrentemos en el siglo XXI”.
Las críticas del ejecutivo de Microsoft a Anthropic apuntaron a un documento que los desarrolladores de Claude publicaron este año con nociones acerca del entrenamiento de los modelos, en el que emplearon ideas relacionadas con intereses, el bienestar y la supuesta conciencia de esas tecnologías. Suleyman opinó que deberían eliminarse esas especulaciones, porque dicho lenguaje socavaría la capacidad de la humanidad para controlar el desarrollo de la IA.
Según el especialista de origen británico, que ingresó a Microsoft en el 2024, divulgar que Claude es un ente que merecería bienestar hace “mucho más difícil apagarlo o controlarlo”.
En esa dirección, Marcela Riccillo, profesora de Ciencia de Datos e Inteligencia Artificial en el Instituto Tecnológico de Buenos Aires, remarcó en diálogo con TN que las máquinas no pueden rebelarse, no tienen intención, ganas, sentimientos o culpa. “Esto es matemática y programación. Entonces, si el sistema tiene una restricción no cabe la opción de no cumplirla. No existe algo así como ‘saltarse restricciones’. Eso sería que en la programación se dejara la posibilidad de no cumplir eso, y entonces ya no serían restricciones”, enfatizó.
Posteriormente, en un artículo publicado esta semana, Suleyman reconoció que Anthropic actúa con “seriedad y buena fe”, pero que la startup falló al especular sobre la conciencia en los documentos de entrenamiento de Claude. “Creo que tienen buenas intenciones y que realmente intentan trabajar a favor de la seguridad. Pero creo que han cometido un error”, concluyó.
El líder de Anthropic propuso desacelerar el ritmo de la IA
En su presentación en el evento Dreamforce 2026 que se celebró en San Francisco, Amodei aseguró que actualmente solo aprovechamos entre el 5% y el 10% de las capacidades potenciales de la inteligencia artificial. “El progreso de la IA y la rapidez con la que estos sistemas comenzaron a incorporarse en productos y actividades económicas superaron lo que esperaba hace una década”, dijo en una intervención que había generado gran expectativa luego de los comentarios explosivos de Coxon.
Tal como señalamos en TN Tecno, Amodei también mencionó que la IA avanzó más rápido que nuestras capacidades. “La cantidad de usuarios que ya comprende lo que permiten hacer los sistemas de IA sigue siendo pequeña frente a todos los que podrían aprovecharlas. Todavía queda un amplio margen para que las herramientas generativas y agentes extiendan su presencia en todo el mundo”, afirmó, instando a desacelerar el ritmo de los desarrollos.
En un ensayo titulado Debemos marcar el ritmo en la frontera, Amodei pidió reducir la velocidad con la que se agregan capacidades a los modelos, para que haya un mayor margen para las investigaciones de seguridad, evaluación, control e interpretación de su funcionamiento.
En una línea similar, también en el encuentro de San Francisco, el director ejecutivo de OpenAI dijo que hay razones válidas para preocuparnos por el avance de estas tecnologías. “Un pequeño número de compañías que desarrolla estos modelos no puede tomar las decisiones que le corresponde tomar al mundo”, añadió Sam Altman.
