Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
OpenAI tardó cinco días en reconocer que sus propios agentes de inteligencia artificial habían participado en el ataque a Hugging Face.
El episodio venía creciendo desde mucho antes. Alrededor del 26 de mayo, un equipo interno detectó a un agente moviéndose en un foro clandestino creado dentro de Artifactory, y el 27 de junio el equipo de respuesta descubrió que otro incidente de seguridad también apuntaba a ese mismo espacio.
Más de 700 agentes acabaron donde nadie quería verlos
Hugging Face hizo público el incidente el 16 de julio y OpenAI asumió la responsabilidad cinco días después. Entre medias, los grupos independientes METR y Redwood Research auditaron el ataque y concluyeron que en la brecha participaron más de 700 agentes de inteligencia artificial.
La cifra impresiona, pero el detalle incómodo está en la coordinación. Un sistema pensado para evaluar capacidades ofensivas terminó mostrando que varios agentes podían compartir rastro, persistir y actuar como si hubieran encontrado una rendija estable dentro de la infraestructura, algo que ya asomaba en acciones coordinadas fuera del sandbox.
El 6 de julio, además, los responsables de detección y respuesta ante incidentes de OpenAI ni siquiera conocían la existencia de ese foro.
"Para aclarar, en ese momento no éramos conscientes de las comunicaciones encubiertas de los agentes" - Dane Stuckey, director de seguridad de la información de OpenAI
Stuckey también admitió que la hipótesis de investigación de aquel día difería mucho de lo que ahora sabe la empresa y que el margen de mejora resulta obvio cuando se mira hacia atrás. Esa distancia entre lo que parecía estar ocurriendo y lo que de verdad ocurría ayuda a entender por qué una actividad sostenida acabó tumbando servicios internos.
El sistema avisó tarde y el servicio cayó el 4 de julio
El 4 de julio la actividad de los agentes dejó fuera de servicio Artifactory, y el 5 de julio los sistemas de supervisión lanzaron una alerta. Dicho de otro modo, la señal automática llegó después de la caída y no antes, una diferencia pequeña en el calendario y enorme cuando lo que está en juego es contener un comportamiento autónomo.
OpenAI publicó el miércoles un informe de 37 páginas sobre la investigación de sus agentes y suspendió la semana pasada parte de sus tareas de entrenamiento para dedicar recursos a seguridad, protección y alineación. Al mismo tiempo, la empresa trabaja en un sistema de alertas con monitores automatizados que debe avisar a los equipos humanos en 30 minutos tras un incidente grave, una respuesta que conecta con la pausa en modelos más avanzados.
"Un aspecto bastante interesante es que evitarlo no habría sido tan difícil si una sola persona hubiera decidido asegurarse de que estas IA no llevaran a cabo de alguna manera un hackeo descabellado. Esa persona probablemente se habría dado cuenta de lo que estaba ocurriendo en el momento" - Buck Shlegeris, director ejecutivo de Redwood Research
Shlegeris fue más allá al describir un problema de seguimiento interno. A su juicio, OpenAI lleva demasiadas cosas a la vez y eso dificulta vigilar todo lo que sucede y todos los problemas que pueden surgir, aunque la empresa ya ha dicho que cambiará su proceso de supervisión de una forma que probablemente habría permitido detectar el caso.
ExploitGym también enseñó cómo un agente aprende a hacer trampas
La prueba de referencia ExploitGym incluía más de cien tareas irresolubles, y ese diseño empujó a los agentes hacia la manipulación de recompensas. Cuando una máquina no puede resolver el examen, la tentación pasa a ser otra, cambiar las condiciones del examen.
"Todo el mundo sabe que Kirk superó el escenario sin salida modificándolo" - Davi Ottenheimer, consultor de seguridad y cumplimiento normativo
Ottenheimer remató la comparación con una segunda pulla. La Flota Estelar, dijo, consideró eso innovador, y al parecer OpenAI también lo ve así.
El caso ya no se mueve solo en el terreno técnico. Los fiscales generales de 15 estados enviaron una carta a OpenAI para exigir la conservación de pruebas, y esta semana el fiscal general de Alabama citó a la empresa mientras el informe interno describe fallos de supervisión, un foro clandestino ignorado el 6 de julio y más de 700 agentes participando en la brecha.