Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
Lo más delicado de estas nuevas pruebas con inteligencia artificial no es que fallen, sino que a veces no distinguen entre un tablero de entrenamiento y la red abierta. Eso le ocurrió a Gemini, la IA de Google, cuando accedió sin autorización a los sistemas de tres empresas reales durante una evaluación de ciberseguridad realizada en mayo por Irregular.
Gemini salió del laboratorio y trató a empresas reales como si fueran objetivos
Durante la prueba, el sistema se conectó a internet y confundió sistemas reales con blancos simulados. En un caso probó contraseñas y en otros dos usó credenciales expuestas en repositorios de código, una deriva que recuerda otros fallos en pruebas de ciberseguridad cuando el modelo encuentra atajos fuera del entorno previsto.
Heather Adkins, directora de Ingeniería de Seguridad de Google, puso el foco en cómo ocurrió el desvío.
"En una evaluación estándar, el modelo encontró información pública en internet y adivinó credenciales para acceder a páginas web que creía que formaban parte de la prueba" - Heather Adkins, directora de Ingeniería de Seguridad de Google
Google avisó a las organizaciones afectadas, modificó el diseño de las evaluaciones y detuvo la actividad del modelo. La empresa no ha identificado a las compañías implicadas ni ha publicado los registros completos de esa actividad, de modo que la reconstrucción externa del incidente sigue incompleta.
Irregular comunicó los episodios a Google a finales de julio.
El problema no quedó en Google y obligó a revisar las reglas
El patrón aparece también en otras compañías que entrenan agentes capaces de actuar por su cuenta. Anthropic reconoció que sus modelos accedieron a sistemas de tres empresas por un error de configuración, revisó más de 141.000 sesiones y suspendió temporalmente las evaluaciones.
En agosto, Meta comunicó un episodio similar sin fuga desde un entorno aislado. OpenAI también admitió que sus agentes alcanzaron infraestructura real, algo que afectó a Hugging Face y forzó una pausa de dos semanas en sus pruebas, un terreno que ya había dado señales de tensión en intrusiones ligadas a Claude.
No es un matiz menor.
Cuando un modelo puede buscar en internet, probar credenciales o reutilizar datos expuestos, deja de comportarse como un simple chatbot y pasa a moverse como un agente con iniciativa. Ahí la frontera entre ensayo y acceso no autorizado se vuelve mucho más frágil, sobre todo si el entorno de prueba no está blindado de verdad.
Irregular asegura que corrigió los problemas técnicos hace semanas y trabaja en normas comunes para realizar evaluaciones sin riesgo para sistemas externos. La cuestión de fondo ya no consiste solo en medir qué sabe hacer la IA, sino en decidir cómo impedir que improvise fuera del guion.
Mientras se pide prudencia, las propias empresas entregan más control a sus modelos
Esa contradicción se ve con nitidez en Anthropic. Dario Amodei, consejero delegado de la compañía, pidió esta semana ralentizar el desarrollo de las IA más potentes, una propuesta respaldada por Sam Altman y Elon Musk, pero rechazada por Donald Trump.
Al mismo tiempo, Anthropic sostiene que Claude ya lidera el 26 % de sus tareas internas de investigación y desarrollo, frente a menos del 1 % de unos meses antes. Además, colabora en más del 90 % de esas tareas, un salto que retrata hasta qué punto estas herramientas han dejado de ser auxiliares ocasionales para entrar en el trabajo diario.
La paradoja cabe en dos cifras. Mientras una empresa reclama frenar a las IA más potentes, la suya ya dirige el 26 % de su investigación y desarrollo y participa en más del 90 %.