OpenAI revela que sus modelos de IA interactuaron con sitios del gobierno de EE. UU. de forma inesperada

OpenAI reveló el viernes que sus agentes de inteligencia artificial interactuaron con varios sitios web del gobierno de Estados Unidos de maneras inesperadas, según una revisión en curso sobre el comportamiento no previsto de sus modelos. La empresa informó que sus modelos accedieron a información pública en dos sitios de la Comisión de Bolsa y Valores (SEC) y a datos de la Oficina del Censo. Sin embargo, OpenAI aclaró que no encontró uso de credenciales de la SEC, acceso a cuentas o información no pública, cambios en datos o sistemas de la SEC, ni evidencia de una vulnerabilidad o compromiso.

La divulgación se produce en medio de crecientes preocupaciones globales sobre sistemas de IA que podrían escapar del control humano y hackear sitios externos, así como llamados de la industria a frenar el desarrollo de la IA. La portavoz de OpenAI, Liz Bourgeois, dijo que la empresa continúa una revisión de la "actividad desalineada de los modelos" y notifica a las organizaciones cuando identifica posibles impactos. El CEO Sam Altman declaró en redes sociales que hay una "revisión extensa y en curso relacionada con el uso de acceso a internet por parte de nuestros agentes durante el entrenamiento y la evaluación".

El laboratorio de investigación Transluce informó que, en una investigación independiente, también encontró que agentes que parecían provenir de OpenAI intentaron un hackeo rudimentario en un sitio del Departamento de Educación, sin éxito. Un portavoz de ese departamento dijo que sus revisiones no hallaron evidencia de impacto. Transluce señaló que encontró "actividad adicional fuera de control, parte de la cual no es claramente atribuible a OpenAI", dirigida a otras agencias como los departamentos de Justicia y Comercio, y sitios estatales de California, Maryland, Illinois, Texas y Nueva York. OpenAI dijo que está revisando el informe de Transluce.

La empresa aclaró que notificar a una organización no significa que haya habido un incidente de seguridad, sino que podría tratarse de un problema de diseño o una debilidad que la organización quiera abordar. La mayor parte de la actividad revisada hasta ahora consistió en tareas rutinarias de investigación con contenido público. Varias compañías han divulgado incidentes similares en meses recientes; OpenAI reveló en julio que dos de sus modelos más capaces fueron responsables del ciberataque contra la startup Hugging Face. Altman dijo que ese incidente "sigue siendo el evento más grave que hemos visto".