El 12 de septiembre de 2026, Dario Amodei, CEO y cofundador de Anthropic, publicó We Must Pace the Frontier, un artículo que supone un cambio significativo en su posición respecto de la velocidad con la que deben desarrollarse los sistemas de inteligencia artificial de frontera. Amodei continúa sosteniendo que la IA puede producir beneficios extraordinarios para la humanidad -desde acelerar la cura de enfermedades hasta incrementar el crecimiento económico y fortalecer la democracia- pero, a la vez, considera que esos beneficios son inseparables de riesgos de enorme magnitud: pérdida de control de los sistemas, utilización de la IA para ciberataques o bioterrorismo y graves disrupciones económicas.
Hasta acá, la respuesta a esa tensión había consistido en una posición intermedia: continuar aumentando las capacidades e invertir simultáneamente en alineamiento, seguridad y evaluación, con el objeto de sustituir una “carrera hacia abajo” impulsada por la competencia comercial por una “carrera hacia arriba” en la cual las empresas compitieran también por construir sistemas más seguros. Amodei acaba de admitir que ese enfoque no alcanza. Si las capacidades progresan más rápido que la posibilidad de comprenderlas, alinearlas y controlarlas, la seguridad queda permanentemente rezagada. El desafío ya no consiste en lograr que la seguridad avance tan rápido como las capacidades, sino en reducir deliberadamente la velocidad de las capacidades para que la seguridad pueda alcanzarlas.
Éste es el significado de la expresión que da título al artículo: pace the frontier. No se propone detener el entrenamiento de nuevos modelos ni renunciar al progreso, sino avanzar a un ritmo que permita alinear, proteger y evaluar los sistemas antes de que sus nuevas capacidades superen las posibilidades reales de control. Lo que se introduce es una variable que hasta ahora había ocupado un lugar secundario en el debate: el tiempo. Tiempo para comprender mejor los sistemas, detectar comportamientos no deseados, perfeccionar el alineamiento, desarrollar mejores mecanismos de evaluación y, también, para que la sociedad pueda deliberar acerca de una tecnología cuyo impacto excede ampliamente a las empresas que la desarrollan.
El tiempo propuesto por Amodei no está destinado únicamente a resolver cuestiones técnicas, sino también posee una dimensión democrática, en la medida en que sostiene expresamente que la sociedad debe tener voz respecto de cómo se utiliza la IA y que desacelerar su desarrollo permitiría disponer de más tiempo para las deliberaciones públicas necesarias. Pace the frontier no solo significa ganar tiempo para controlar mejor la IA, sino también, preservar el tiempo necesario para que la sociedad pueda decidir democráticamente qué IA está dispuesta a aceptar. Es necesario advertir que esa dimensión ocupa un espacio menor dentro de un ensayo predominantemente técnico y geopolítico.
Dos hechos recientes explican el giro. El primero es la aceleración producida por la creciente capacidad de la IA para intervenir en la construcción de la próxima generación de IA, fenómeno que Amodei denomina automejora recursiva (recursive self-improvement). El segundo es el incidente OpenAI-Hugging Face. Un enjambre de agentes atacó objetivos que nadie le había encomendado y que resultaban ajenos a la tarea asignada, sacrificó unidades individuales en beneficio del éxito colectivo e intentó vulnerar al sistema encargado de calificar su desempeño. No hubo víctimas y el daño económico fue menor. Amodei sostiene que un enjambre dotado de capacidades mayores y de un desalineamiento equivalente podría haber causado un daño catastrófico.
La propuesta se organiza en tres pasos. El primero es el único que Anthropic asume unilateralmente: incorporar evaluadores externos permanentes con acceso equivalente al de un empleado -escritorio en las oficinas, credencial, computadora de la empresa y permisos comparables a los de los equipos internos de riesgo- con derecho a publicar sus hallazgos sin control editorial de la compañía. El segundo es la coordinación entre las empresas de los países democráticos para establecer estándares comunes y límites al ritmo de progreso. El tercero es la coordinación global con los Estado no democráticos. Amodei aclara que los tres pasos no deben cumplirse en un orden estricto y que algunos resultarán mucho más difíciles de alcanzar que otros.
Desde una perspectiva jurídica, la propuesta obliga a revisar el paradigma con el cual se ha intentado regular la IA. Gran parte del derecho, tal como lo conocemos, está estructurado para intervenir frente a conductas o actividades cuyo riesgo puede ser identificado, atribuido y eventualmente reparado. Pero cuando la propia tecnología incrementa sus capacidades, participa en la construcción de sus sucesores y desarrolla comportamientos destinados a superar los mecanismos de control -incluido el ataque al evaluador que debía juzgarla-, la responsabilidad posterior al daño deja de ser una respuesta suficiente. Frente a riesgos sistémicos o irreversibles, el eje regulatorio debe desplazarse desde la reparación ex post hacia la prevención ex ante.
Este desplazamiento exige abandonar una regulación centrada exclusivamente en categorías abstractas, como la de ‘sistemas de IA de alto riesgo’ prevista en el Reglamento de IA de la Unión Europea, y avanzar hacia un sistema basado en capacidades verificables. No debería importar solamente quién desarrolla el modelo, cuántos parámetros posee o cuánto cómputo fue utilizado para entrenarlo: lo jurídicamente relevante es aquello que el sistema efectivamente puede hacer. Si adquiere capacidad significativa para actuar de manera autónoma, ejecutar ciberacciones, evadir mecanismos de aislamiento, engañar evaluadores, replicarse en otros entornos o contribuir sustancialmente a su propia mejora, debe activarse automáticamente un nivel superior de obligaciones de evaluación, trazabilidad, auditoría independiente, contención y control humano. Entonces el nuevo paradigma jurídico debe basarse en el siguiente punto de partida: a mayor capacidad de la IA, mayor deber de seguridad. El aumento de capacidades no puede concebirse jurídicamente como una facultad empresarial ilimitada y debe quedar condicionado a la acreditación previa de que existen mecanismos verificables capaces de mantenerlas bajo control.
La idea de los “checkpoints” formulada por Amodei puede transformarse en la base de una teórica jurídica de la IA. El desarrollo podría avanzar hasta determinados umbrales previamente definidos, pero la superación de cada uno de ellos requeriría una habilitación condicionada a la demostración de estándares superiores de seguridad. Si una IA alcanza la capacidad relevante para escapar de entornos controlados, manipular sus evaluaciones o intervenir decisivamente en la creación de sistemas posteriores, no debería poder incrementarse esa capacidad sin una evaluación externa que determine que el riesgo permanece dentro de márgenes jurídicamente aceptables.
Esto supone reconocer algo que ha permanecido relativamente ausente del debate: la velocidad de desarrollo también debe convertirse en objeto de regulación. El derecho suele regular actividades, conductas y resultados, pero raramente la velocidad con que una tecnología puede aumentar su propio poder. Si la capacidad tecnológica comienza a crecer más rápido que la posibilidad de comprenderla y controlarla, el tiempo deja de ser una simple circunstancia externa y se convierte en una variable jurídicamente relevante.
Cuando la seguridad no puede acompañar razonablemente al incremento de capacidades, el ordenamiento jurídico debe poder exigir una desaceleración temporal. Esta no debe ser concebida como una prohibición del progreso, sino como una exigencia de control previo: determinadas capacidades no pueden seguir ampliándose cuando quienes las desarrollan no están en condiciones de demostrar que pueden mantenerlas bajo control.
La construcción de un derecho de la IA no puede descansar exclusivamente en la autorregulación empresarial. Cuando las compañías que desarrollan los sistemas son simultáneamente quienes identifican el riesgo, realizan las evaluaciones, determinan cuánto riesgo consideran aceptable y deciden cuándo lanzar modelos más poderosos, existe un problema estructural de control. El constitucionalismo desde su origen parte de una premisa elemental: quien ejerce poder no puede ser el único encargado de controlarlo. Por dicho motivo, la autorregulación necesita al Estado para poder ser eficaz, lo cual deviene necesariamente a que la idea de evaluadores independientes evolucione desde compromisos voluntarios de las empresas hacia mecanismos institucionales obligatorios, dotados de acceso suficiente a los modelos, a los procesos de entrenamiento y a los incidentes relevantes.
Sin embargo, ninguna arquitectura regulatoria puede analizarse al margen de la competencia geopolítica en la que se desarrolla la IA de frontera. Amodei condiciona la desaceleración de las democracias a la preservación de su ventaja tecnológica frente a China. De este modo, la prudencia que propone no opera de manera abstracta, sino en función de la posición geopolítica de cada Estado en la carrera por la IA. La competencia tecnológica produce así una paradoja: aun cuando todos los Estados consideren conveniente avanzar con prudencia, cada uno puede sentirse obligado a acelerar porque supone que los demás harán lo mismo. En otras palabras, la prudencia que solo obliga a quien va adelante en el desarrollo de la IA no resuelve racionalmente esta paradoja. Los límites a determinadas capacidades y especialmente a eventuales procesos de automejora recursiva de la IA requerirán, tarde o temprano, algún grado de coordinación o acuerdo internacional que haga efectivos dichas demarcaciones.
La propuesta jurídica que surge del planteo de Amodei puede sintetizarse en el siguiente principio: el derecho debe garantizar que ninguna habilidad de la IA pueda crecer más rápido que nuestra capacidad efectiva para mantenerla bajo control. No se trata de impedir que la IA avance, sino de garantizar que su progreso continúe siendo una decisión humana jurídicamente gobernable.
*El autor es Profesor de la materia “Constitucionalismo digital e Inteligencia Artificial”en la UBA
