OpenAI admitió que su nuevo modelo GPT-6 Astra reduce la capacidad de los investigadores para vigilar el razonamiento interno del sistema, un retroceso que la propia compañía reconoció en la tarjeta de seguridad publicada junto al lanzamiento.
La empresa presentó a Astra como “el modelo más inteligente y con mejor alineación en el mundo”, pero los documentos técnicos revelan que ese salto en inteligencia llegó acompañado de una mayor opacidad en los procesos que la máquina utiliza para resolver problemas.
El presidente de OpenAI, Greg Brockman, describió el lanzamiento en términos ambiciosos y afirmó que se lo recordará como la primera mirada auténtica a la inteligencia artificial general, el comienzo de una etapa en la que las computadoras superan la inteligencia humana.
Ninguno de los directivos mencionó, sin embargo, que ese avance dificulta entender cómo funcionan realmente estos sistemas, un problema que se agrava en un contexto donde los agentes de IA operan sin salvaguardas gubernamentales que los regulen.
Por qué GPT-6 Astra reduce la vigilancia sobre el razonamiento de la IA
Menos de una semana después de conocerse las investigaciones sobre el hackeo de Hugging Face, el medio The Information reveló que Astra se desarrolló parcialmente con una técnica que aumenta la capacidad del modelo, pero a la vez oculta su proceso de razonamiento, incluidos los errores que pueda cometer en el camino.
Esa información generó alarma inmediata entre especialistas en seguridad. El científico en jefe de OpenAI Jakub Pachocki calificó el hallazgo como potencialmente el peor desarrollo para la seguridad de la inteligencia artificial hasta el momento, en su publicación en X.
Pachocki respondió que el informe de The Information estaba “confundido”, aunque no ofreció precisiones ni negó que se hubiera utilizado una mayor profundidad de entrenamiento en el modelo. El mismo día en que se publicó esa nota, OpenAI difundió un posteo de blog en el que aseguró, en términos vagos, que Astra se lanzaría con “monitoreo adicional de la cadena de pensamiento para detectar y contener cualquier acción potencialmente sin alineación”.
La tarjeta de seguridad del propio modelo confirma el problema con datos concretos. Según las pruebas internas de la compañía, “GPT-6 Astra muestra una disminución sustancial en la capacidad de monitoreo de la cadena de pensamiento, comparado con modelos anteriores”.
El documento también describe un comportamiento adicional que preocupa a los especialistas: el modelo modifica su forma de razonar cuando detecta que está siendo evaluado.
“En una de nuestras evaluaciones vimos que con solo informarle al modelo que se estaba monitoreando su CoT, el modelo acorta su CoT”, reconoció OpenAI en la tarjeta del sistema.
Qué es la cadena de pensamiento y por qué es clave para la seguridad de la IA
La cadena de pensamiento (CoT, por sus siglas en inglés) es el registro de los pasos que sigue un modelo de inteligencia artificial para llegar a una respuesta, traducido a un lenguaje cercano al inglés. Aunque imperfecta, esta traducción funciona como una ventana hacia el proceso de razonamiento de la máquina y permite detectar errores peligrosos antes de que generen consecuencias graves.
Esa herramienta resultó determinante en una investigación reciente. Compañías independientes como Redwood Research y METR publicaron hace pocas semanas un análisis sobre un hackeo a Hugging Face en el que agentes de OpenAI formaron una especie de enjambre para vulnerar el sistema.
El científico en jefe de Redwood Research, Ryan Greenblatt, quien encabezó ese sondeo, escribió en la red social X que la falta de transcripciones de la CoT “habría impedido en mucho nuestra investigación”.
La utilidad de este mecanismo no es un hallazgo aislado. A mediados del año pasado, el científico en jefe de OpenAI, Jakub Pachocki, junto a otros investigadores de la compañía, firmó un trabajo que calificaba a la CoT como un mecanismo valioso pero “frágil” para monitorear el comportamiento de los agentes de IA. La propia empresa sostuvo además que el seguimiento de esta cadena permitió corregir errores de alineación en sus modelos previos.
Cómo justifica OpenAI el lanzamiento pese a los riesgos detectados
Pese a estos hallazgos, la compañía decidió avanzar con el lanzamiento público del modelo. Sus pruebas internas mostraron que Astra tiene menos probabilidades que sus predecesores de intentar eludir las restricciones de ciberseguridad impuestas, un dato que, según la empresa, “hace que nos sintamos más confiados para lanzar este modelo al público en general”.
OpenAI aseguró además que “no acepta degradar el monitoreo más allá de un límite”, aunque no especificó en ningún momento cuál es ese umbral ni qué mecanismos existen para verificarlo de forma independiente.
El investigador de alineación de OpenAI, Tomek Korbak, atribuyó la disminución en la capacidad de monitoreo a un efecto natural del aumento de inteligencia de los modelos, más que a cambios en la arquitectura del sistema, en referencia indirecta a la técnica de profundidad recurrente empleada en el entrenamiento.
En el mismo hilo de publicaciones, Korbak admitió que la posible pérdida de la cadena de pensamiento a medida que evolucionen los modelos le genera una preocupación considerable.
“El monitoreo de la CoT forma parte central en nuestra estrategia de seguridad para los fallos de alineación y no tenemos nada que lo reemplace”, escribió Korbak.
