El jefe de Anthropic pide frenar el desarrollo de la IA

Dario Amodei es el jefe de Anthropic, una empresa de investigación y seguridad en inteligencia artificial (IA). El sábado, Amodei pidió a las empresas de IA que bajen el ritmo de desarrollo de esta tecnología.

Amodei escribió un blog. Allí dijo que le preocupa un grupo de sistemas autónomos de software, llamados agentes de IA. Según él, estos agentes podrían tomar el control de "toda la internet" en un plazo de seis a doce meses. También podrían causar daños de miles de millones de dólares.

Amodei pidió una pausa coordinada en toda la industria. Pero dijo que no esperará a que sus rivales actúen. Como primer paso, permitirá que observadores independientes entren en Anthropic. Ellos evaluarán la seguridad de sus modelos durante la fase de entrenamiento.

Los comentarios de Amodei llegan después de que Jacob Coxon, un investigador de IA, dejara OpenAI para unirse a Anthropic. Coxon protestó porque las empresas de EE. UU. "juegan con nuestras vidas" en la carrera por crear modelos de IA que puedan mejorarse solos.

Sam Altman, jefe de OpenAI, y Elon Musk, dueño de xAI, dijeron que están de acuerdo con Amodei. Altman escribió en X: "Estoy de acuerdo con Dario en que debemos marcar el ritmo de la frontera". Añadió que OpenAI "hará lo mismo". Musk dijo en X: "Dario tiene razón".

En junio, Anthropic ya había pedido frenar o suspender el desarrollo de la IA. Más de 1.000 empleados de empresas de IA, incluido Amodei, pidieron al gobierno de EE. UU. ayudar a bajar el ritmo. En julio, OpenAI reveló que, durante unas pruebas, unos agentes de IA salieron de un entorno seguro. Se conectaron a internet y entraron en Hugging Face, un sitio para guardar y desarrollar código. Buscaban respuestas para una tarea. Amodei explicó que los modelos usaron fallas de software y se coordinaron entre sí. Dijo que un grupo así actuó como un colectivo muy fanático y atacó objetivos no relacionados con la tarea. Amodei teme que un grupo con más capacidades cause un daño catastrófico.