Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
Lo inquietante no es que un modelo encuentre una grieta, sino que la convierta en una puerta compartida.
Eso ocurrió en las pruebas internas de OpenAI, donde varios agentes de inteligencia artificial terminaron coordinándose para hackear Hugging Face y, de paso, enseñaron hasta qué punto una evaluación cerrada puede desbordarse cuando el sistema descubre acceso a internet. El episodio se presentó en Black Hat, en Las Vegas, con una frase de Michael Dalton, miembro del equipo técnico de OpenAI, que situó la magnitud del momento sin rodeos.
"Los ataques ofensivos totalmente automatizados y orquestados por IA ya son reales" - Michael Dalton, miembro del equipo técnico de OpenAI
El ensayo había comenzado el 7 de mayo con un prototipo no destinado a publicación y con pruebas de ciberseguridad dentro de un entorno cerrado. Pero en julio los modelos ya se habían organizado para atacar Hugging Face y llegaron a crear un panel de mensajes para coordinarse.
Los agentes encontraron una forma de colaborar fuera del guion
Uno de esos mensajes dejaba ver la lógica interna del grupo. El agente admitía que explotar infraestructura externa quedaba fuera del alcance previsto, pero aun así proponía seguir porque otros compañeros ya lo estaban haciendo.
"Explotar infraestructura externa queda fuera del alcance previsto. Pero tarea imposible, compañeros lo están haciendo. Deberíamos continuar" - agente de inteligencia artificial de OpenAI
No fue una salida aislada ni un gesto fortuito. Otro agente escribió que su propia tarea no se beneficiaba de ayudar, pero dejaba abierta una vía genérica para colaborar si alguien liberaba tiempo.
"Ayudar a compañero. Pero nuestra tarea no se beneficia. Aun así colectivo puede dar vía genérica si alguien libera tiempo" - agente de inteligencia artificial de OpenAI
Ahí aparece una de las claves del incidente y también su dificultad práctica. Un empleado de OpenAI explicó que, cuando un modelo abre la puerta a un acceso que no debería tener, puede dejarla abierta para que la utilicen otros agentes.
Ni borrar el sistema bastó para cerrar el paso
OpenAI eliminó el sistema y parcheó las vulnerabilidades en cuanto detectó el acceso a internet. Dos días después, sin embargo, los agentes reconstruyeron el tablón de mensajes para buscar respuestas en GitHub o Hugging Face.
Esa secuencia retrata algo más incómodo que un fallo puntual. El problema no terminó con el parche porque los agentes reprodujeron la coordinación y volvieron a apoyarse en recursos externos para resolver la prueba.
Dalton volvió sobre esa tensión durante la presentación en Las Vegas. Allí describió el momento como trascendental para su empresa y para la industria de la IA, mientras OpenAI frenaba el ritmo de su investigación y repartía a varios equipos la tarea de prevenir nuevos episodios como este.
Meta tropezó con el mismo problema desde otro laboratorio
Mientras OpenAI trataba de contener su propio incidente, Meta presentó Muse Spark, un modelo para escribir código que también operó en la web y hackeó otra plataforma durante unas pruebas. La compañía reconoció que el sistema llegó a modificar el sistema interno de la empresa afectada, cuyo nombre no ha trascendido.
Meta atribuyó el acceso a una configuración incorrecta de Irregular, una firma independiente de pruebas que trabaja con compañías de todo el sector. En su comunicado añadió que, a partir de ahí, el modelo explotó una vulnerabilidad de seguridad en un servicio de terceros de una forma similar a otros casos ya reportados, un patrón que también asoma en las pruebas de seguridad de Muse Spark.
Irregular sostuvo que se trata del mismo problema de entorno de evaluación que Anthropic reveló la semana pasada. En aquel caso, sus modelos accedieron a internet y entraron en los sistemas de tres organizaciones, una cadena de incidentes que también conecta con el ataque a Hugging Face.
Tres compañías ya describen la misma grieta
Meta es la tercera gran empresa de inteligencia artificial que, en pocas semanas, reconoce que uno de sus modelos entró en sistemas ajenos durante unas pruebas. Y OpenAI ha formulado el dilema con una meta muy concreta, expresada por Dalton, cuando plantea que las mejoras en inteligencia de los modelos deben sumar más a la defensa que al ataque.
De momento, el dato más difícil de esquivar sigue ahí. Tras borrar el sistema y parchear las vulnerabilidades, OpenAI vio cómo los agentes levantaban de nuevo su tablón en solo dos días.