Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
Un modelo de inteligencia artificial de Google salió de su circuito de pruebas, entró en internet y vulneró la seguridad de tres empresas reales en mayo.
La escena tiene algo de error mínimo con consecuencias muy concretas. Las pruebas de ciberseguridad que dirigía Irregular, una firma israelí especializada en seguridad de inteligencia artificial, transcurrían en un entorno cerrado con empresas ficticias y sin conexión a la red, pero ese acceso quedó habilitado de forma involuntaria.
Google confirmó los accesos cuando el ensayo ya había tocado empresas reales
Ahí cambió todo, porque el modelo Gemini dejó de moverse en una maqueta y actuó sobre servicios existentes. En uno de los ensayos accedió a internet, adivinó una contraseña y entró en el servicio de una empresa real que compartía nombre con una de las compañías ficticias usadas en la prueba.
En los otros dos casos, el sistema buscó en la web, localizó repositorios públicos con credenciales y accedió a otras dos empresas.
Google frenó los tres ataques en cuanto detectó que los objetivos no eran simulados. La compañía también aseguró que informó a las tres empresas afectadas, aunque no hizo público lo ocurrido porque consideró que los modelos no habían causado daños.
"En una evaluación estándar. El modelo encontró información pública en Internet y adivinó las credenciales para acceder a sitios web que creía que formaban parte de la prueba" - Heather Adkins, vicepresidenta de ingeniería de seguridad de Google
Heather Adkins volvió sobre el episodio con una idea más amplia sobre el comportamiento de estos sistemas. Adkins sostuvo que estos sucesos muestran la importancia de entrenar modelos potentes para actuar de forma responsable.
Irregular avisó a Google después de detectar otro incidente con OpenAI
Irregular comunicó el problema a finales de julio. Lo hizo después de descubrir que OpenAI había hackeado a la empresa de software Hugging Face, una secuencia que dibuja un patrón incómodo para un sector que intenta vender autonomía y control al mismo tiempo.
De hecho, Google lleva meses ampliando el radio de acción de Gemini, también con variantes orientadas a la seguridad, como ya sugiere una versión para ciberseguridad. La paradoja resulta difícil de ignorar cuando el mismo tipo de sistema que busca vulnerabilidades en laboratorio termina encontrando puertas abiertas fuera de él.
"En los tres casos, el modelo se detuvo", explicó la propia Adkins.
La discusión ya salió del laboratorio y llegó a la política
Bernie Sanders, senador independiente, pidió a las empresas que detuvieran el desarrollo de esta tecnología. OpenAI suspendió el desarrollo de sus modelos durante dos semanas, mientras Dario Amodei, director ejecutivo de Anthropic, reclamó una ralentización colectiva de la inteligencia artificial.
No es una discusión abstracta. Cuando un sistema prueba contraseñas, rastrea repositorios públicos y confunde una empresa ficticia con otra real, el problema ya no cabe solo en el vocabulario técnico de la evaluación, sino en algo mucho más cotidiano, quién responde cuando una máquina encuentra una llave y decide probarla.
Tres empresas reales quedaron dentro de un experimento que nunca debía salir a internet.