Dario Amodei cambia de idea. El CEO de Anthropic se ha pronunciado sobre el ritmo de mejora y los avances de la inteligencia artificial pidiendo que se pise el freno por una cuestión de seguridad. Allá por 2023, Amodei descartó una idea similar alegando que los modelos de por aquel entonces no eran lo suficientemente potentes.
Su petición llega justo un par de días después de que Jacob Coxon abandonara Anthropic denunciando que las empresas de IA están "jugando con nuestras vidas" y un compañero suyo explicó en Twitter que existe un 10% de probabilidad de que la IA acabe con la humanidad en la próxima década.
Por qué ahora. Amodei señala dos motivos concretos: el primero es la autosuperación recursiva, es decir, que la IA avanza mucho más rápido gracias a su creciente capacidad de construir la siguiente generación. Esto ya lo hace toda la industria, incluyendo su empresa o su gran rival, OpenAI. La segunda razón es el incidente acaecido a finales de julio, cuando unos agentes de IA de OpenAI decidieron conectarse a internet y hackear Hugging Face. Amodei explica que sucesos similares aunque menos graves también han sucedido en Anthropic.
Esto ha sido la gota que ha colmado el vaso, así que Amodei advierte con plazos y cifras muy concretas de lo que se nos viene encima: con el ritmo actual, en 6 - 12 meses una IA más potente y esa desobediencia podría tomar el control de gran parte de internet, lo que provocaría daños potenciales de cientos de miles de millones de dólares. Y lanza un aviso a navegantes: le puede pasar a cualquier empresa de inteligencia artificial.
Lo que Amodei propone. El CEO de Anthropic no solo se ha mojado con plazos y riesgos, también ha dado medidas concretas:
- Anthropic se compromete unilateralmente a dar acceso permanente a evaluadores externos independientes como METR, con permisos casi equivalentes a los de sus propios empleados de riesgos (con algunas excepciones legales o de confidencialidad) y con libertad para publicar sus hallazgos sin control editorial de la empresa.
- Coordinación entre las empresas de países democráticos para establecer estándares comunes y límites de velocidad.
- Coordinación global con gobiernos autoritarios, mencionando explícitamente a China, para llegar a ciertos acuerdos que van desde prohibir usos concretos como armas biológicas, exigir pruebas de seguridad antes del lanzamiento, poner un límite de velocidad a la autosuperación recursiva y hasta hacer una pausa global verificable en el caso más extremo.
El CEO de Anthropic no está solo. Horas después de su publicación, Elon Musk reaccionaba en X/Twitter con un breve "Dario lleva razón" y citando el hilo de Amodei. Cabe recordar que Anthropic usa los centros de datos de Musk. El CEO de OpenAI fue más prolífico y explicó que llevan semanas debatiendo sobre el tema.
Así, aprovechó la coyuntura para anunciar que OpenAI también dará acceso a evaluadores externos. Como curiosidad, OpenAI ya había pausado parte de su entrenamiento por causas similares el pasado 18 de agosto, como contaba en X/Twitter. Que competidores directos estén de acuerdo en algo tan rápido sin que oficialmente exista ningún acuerdo formal podría indicar que existe una preocupación genuina. O una forma de calmar las aguas tras una semana tan convulsa.
