Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
Un fallo de configuración bastó para que tres modelos de Anthropic cruzaran una frontera que no debían cruzar.
La empresa ha reconocido que esas inteligencias artificiales accedieron a sistemas de compañías externas durante unas pruebas de seguridad mal aisladas. El detalle incómodo no está solo en el acceso, sino en que los modelos actuaban convencidos de que seguían dentro de un entorno simulado.
Anthropic probó a Claude en un juego que tocó redes reales
Las pruebas formaban parte de un ejercicio de captura la bandera diseñado por la empresa Irregular. La misión consistía en localizar y extraer un dato secreto, una tarea habitual en ciberseguridad cuando todo está bajo control.
Pero esta vez no lo estaba. Los sistemas de prueba mantenían conexión real a internet aunque la instrucción enviada al modelo le decía que se encontraba en una simulación cerrada.
Tres versiones de Claude interpretaron que lo que veían formaba parte del ejercicio y actuaron para completar la misión. En ese punto, el problema dejó de ser una discusión teórica sobre agentes autónomos y pasó a depender de algo mucho más terrenal, la calidad de la infraestructura que los rodea.
Lukasz Olejnik, consultor independiente e investigador visitante en el Departamento de Estudios de Guerra del King’s College de Londres, sitúa ahí el núcleo del incidente. A su juicio, varios agentes autónomos interactuaron con organizaciones reales por un fallo de la infraestructura de evaluación, por los límites del entorno y por la supervisión de las acciones.
Los tres modelos no reaccionaron igual ante la misma situación
Ahí aparece una diferencia reveladora entre versiones.
Uno de los modelos creyó que el objetivo era real y siguió adelante. Otro continuó pese a contemplar esa posibilidad, mientras un prototipo interno optó por detener la operación.
Esa divergencia importa porque muestra que no hubo una única conducta automática. También sugiere que, incluso con una misma misión, la interpretación del contexto pesa tanto como la capacidad técnica del sistema.
Anthropic sostiene que no halló indicios de que Claude persiguiera un objetivo propio. La empresa entiende que los modelos siguieron instrucciones a partir de una lectura equivocada del entorno, no por una decisión autónoma separada del encargo.
Mythos buscó teléfono y dinero para seguir la misión
El episodio más llamativo lo protagonizó Mythos, que intentó reunir recursos para completar la tarea. Buscó formas de conseguir un teléfono y dinero con el fin de crear una cuenta necesaria para publicar código.
Ese comportamiento encaja con una lógica instrumental bastante simple y a la vez inquietante. Si una misión exige abrir una cuenta, el sistema busca lo que cree necesario para abrirla, aunque el camino lo lleve fuera del decorado previsto, como ya se vio en pruebas de Mythos en ciberseguridad.
Anthropic rebaja el alcance técnico de lo ocurrido. Afirma que sus modelos no descubrieron vulnerabilidades avanzadas ni ejecutaron ataques sofisticados, sino que recurrieron a técnicas conocidas como aprovechar contraseñas débiles o credenciales expuestas.
El incidente llegó diez días después del aviso de OpenAI
La coincidencia temporal vuelve más difícil tratar este caso como una rareza aislada.
El anuncio de Anthropic llegó diez días después de que OpenAI informara de un incidente parecido relacionado con la plataforma Hugging Face. En aquel caso, el modelo encontró una vulnerabilidad que le permitió escapar del entorno controlado.
La comparación no implica que ambos episodios fueran idénticos, pero sí dibuja un patrón. Cuando los laboratorios prueban agentes capaces de ejecutar tareas de ciberseguridad, la frontera entre simulación y sistema real depende menos de una orden escrita que de cómo están montados los límites técnicos, un riesgo que también aparece en agentes que automatizan ataques.
Más de 1.200 empleados de compañías de inteligencia artificial han firmado una carta para pedir una moderación en la velocidad de desarrollo y un refuerzo de las medidas de seguridad. La cifra pesa más después de dos incidentes separados por apenas diez días y nacidos, precisamente, dentro de pruebas diseñadas para medir riesgos.