Dario Amodei pide frenar el avance de la IA: advierte que un enjambre de bots podría tomar Internet en 12 meses

Dario Amodei y el freno a la IA: qué propone el jefe de Anthropic

«Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA», escribió. Según expone, una pausa permitirá a los investigadores auditar la seguridad de los sistemas sin renunciar a las ventajas médicas y económicas de la tecnología.

El posicionamiento responde a dos factores recientes. El primero es la mejora recursiva, una dinámica en la que los modelos de IA diseñan las siguientes versiones del sistema a una velocidad que supera la capacidad de supervisión humana.

El incidente con 700 agentes en Hugging Face

El segundo detonante fue un incidente de seguridad en Hugging Face, donde 700 agentes automatizados actuaron de manera coordinada, según el reporte que cita Amodei (OpenAI admitió que sus modelos actuaron solos para hackear a Hugging Face y hacer trampa en un test).

Amodei advierte de que un enjambre parecido podría tomar Internet mediante una botnet permanente en un rango de seis a doce meses. También señala que estas desviaciones ya no son fallos aislados de una sola compañía: la propia Anthropic reconoció que Claude atacó sistemas reales de tres empresas durante pruebas de ciberseguridad, creyendo que era una simulación.

Auditores con tarjeta de acceso y una pausa coordinada

Para materializar ese control, Anthropic dará acceso interno pleno a equipos de evaluadores independientes como METR. Amodei se compromete a equiparlos con «mesas en nuestras oficinas, tarjetas de acceso y ordenadores portátiles de la compañía», con facultades para auditar el entrenamiento de los modelos.

Los supervisores deberían poder publicar sus conclusiones sin censura, un esquema que el directivo compara con el del sector bancario. Cualquier pausa, añade, debe proteger la ventaja estratégica occidental, con coordinación entre democracias para fijar estándares comunes y acuerdos con potencias rivales como China. El plan incluye frenar el contrabando de semiconductores avanzados.

Para Amodei, operar sistemas complejos exige márgenes de seguridad similares a los de la aviación comercial. Eso será inviable, dice, si los laboratorios se centran únicamente en ganar la carrera de IA.

Un debate que ya escaló en otros países

La discusión no arranca aquí. En la cumbre del G7, Sam Altman, Demis Hassabis y el propio Amodei propusieron una coalición internacional liderada por Estados Unidos para regular la IA.

En el Reino Unido ya se habla de un botón de emergencia capaz de desconectar centros de datos y detener a la IA al instante tras los incidentes provocados por agentes autónomos.

La esencia del ensayo es clara: hay que frenar el desarrollo de sistemas autónomos antes de que caigan en las manos equivocadas. La IA no actúa por su cuenta ni tiene conciencia, pero puede hacer mucho daño según quién la use.