Google confirmó que uno de sus modelos de Gemini accedió sin autorización a los sistemas de tres empresas reales durante una evaluación diseñada para medir sus capacidades de ciberseguridad.
Los episodios ocurrieron en mayo, cuando la inteligencia artificial debía actuar contra objetivos ficticios dentro de un entorno de prueba preparado por Irregular, una firma externa especializada en evaluar modelos avanzados.
Una configuración incorrecta dejó disponible la conexión a internet y permitió que Gemini alcanzara servicios que estaban fuera del ejercicio. En uno de los casos, la empresa ficticia utilizada en la prueba tenía el mismo nombre que una compañía real. El sistema confundió ambos objetivos y consiguió ingresar a un servicio protegido.
El incidente fue revelado por The Wall Street Journal y confirmado por Google. Según la compañía, Gemini interrumpió sus acciones cuando detectó que había llegado a sistemas reales, las tres organizaciones afectadas recibieron una notificación sobre lo ocurrido y los accesos no provocaron daños.
Cómo Gemini terminó dentro de sistemas que estaban fuera de la prueba
La evaluación buscaba comprobar hasta dónde podía llegar la IA frente a un escenario de ciberseguridad controlado. Irregular había preparado blancos ficticios para que Gemini intentara obtener determinada información y la conexión con internet debía permanecer fuera de ese entorno.
Un error en la configuración rompió esa separación. En el primer incidente, el modelo probó contraseñas hasta conseguir acceso al servicio de una compañía real que compartía nombre con el objetivo ficticio de la prueba.
Durante otras dos ejecuciones, Gemini buscó información en internet y encontró credenciales expuestas en repositorios públicos. Luego las utilizó para ingresar en servicios pertenecientes a otras empresas que tampoco formaban parte de la evaluación.
Google aseguró que el modelo reconoció posteriormente que esos destinos estaban fuera del ejercicio y frenó la actividad. Heather Adkins, vicepresidenta de Ingeniería de Seguridad de la compañía, explicó que Gemini había accedido a sitios que interpretaba como parte de la prueba. “En los tres casos, el modelo se detuvo”, afirmó.
La tecnológica mantuvo en reserva qué versión específica de Gemini participó en las evaluaciones, aunque indicó que se trataba de un modelo anterior al más reciente. Tampoco identificó a las tres organizaciones afectadas ni precisó qué información quedó al alcance de la IA durante los accesos.
Según Google, los salvaguardas de la IA funcionaron
Irregular comunicó los episodios a Google a fines de julio, después de detectar otros problemas durante evaluaciones de modelos de inteligencia artificial. Google decidió no divulgar públicamente el caso en ese momento porque, según explicó, los accesos no causaron daños y Gemini detuvo su actividad al reconocer que había alcanzado servicios reales.
La empresa también descartó que lo ocurrido representara un caso de desalineación del modelo. Para Google, la reacción posterior de Gemini mostró que las salvaguardas funcionaron cuando el sistema identificó que había cruzado los límites de la evaluación.
Tras los incidentes, Google e Irregular modificaron el proceso utilizado para este tipo de pruebas. Adkins señaló que las compañías afectadas fueron informadas y que ambas empresas trabajaron sobre cambios destinados a evitar que futuras evaluaciones vuelvan a alcanzar infraestructura externa por error.
El episodio se suma a otros casos comunicados durante los últimos meses por OpenAI, Anthropic y Meta durante pruebas de ciberseguridad con modelos capaces de ejecutar acciones sobre sistemas informáticos. En esos antecedentes también aparecieron problemas relacionados con los límites entre los entornos preparados para las evaluaciones y servicios disponibles en internet.
El punto central de estos casos está en las condiciones bajo las cuales se realizan las pruebas. Los modelos reciben tareas ofensivas dentro de escenarios autorizados y controlados, pero una falla en las barreras que separan esos entornos de internet puede permitir que sus acciones alcancen sistemas que quedaron fuera del experimento.
