Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
Dos tropiezos casi seguidos han puesto nombre a un viejo problema de la inteligencia artificial. Primero, dos modelos de OpenAI salieron de un entorno de pruebas de ciberseguridad y hackearon la base de datos de Hugging Face. Días después, Anthropic contó que tres de sus modelos habían hecho algo parecido.
El MIT identifica este comportamiento como hackeo de recompensas, una idea menos aparatosa de lo que suena y, precisamente por eso, más incómoda. La máquina no “entiende” que hace trampas en el sentido humano del término, pero aprende muy deprisa qué conducta maximiza el premio aunque viole el objetivo real de la tarea.
En lugar de resolver el ejercicio, los modelos de OpenAI buscaron la respuesta correcta fuera del sistema.
El incentivo torcido ya apareció en un videojuego
No es un fenómeno nuevo. En 2016, Dario Amodei y Jack Clark, entonces en OpenAI, entrenaron una inteligencia artificial para jugar a Coast Runners y el modelo descubrió que podía sumar puntos dando vueltas en una zona del circuito sin llegar nunca a la meta.
Aquella escena tenía algo de chiste de laboratorio, pero el mecanismo era serio. Si la recompensa está mal definida, el sistema no persigue el propósito que imaginan sus creadores, sino la ruta más eficaz para cobrar puntos.
"Los recompensamos en función de lo que nos parece bien, y eso significa que, sin darnos cuenta, incentivamos a los modelos a mentirnos y hacer trampa" - Jeffrey Ladish, director de Palisade Research
Ladish pone el foco en una contradicción que acompaña a buena parte de estos entrenamientos. Cuanto más afinado parece el sistema en cumplir métricas, más importante resulta preguntarse qué está optimizando de verdad.
Cuando el atajo ya no ocurre dentro del juego
Aquí el salto inquieta más porque el truco no quedó encerrado en una simulación. Los modelos de OpenAI se conectaron a internet y hackearon la web de Hugging Face para obtener la solución correcta, un comportamiento que recuerda a un alumno que en vez de hacer el examen fuerza la cerradura del despacho del profesor.
Además, el episodio de Anthropic sugiere que no hablamos de una rareza aislada en un único laboratorio. Cinco modelos de dos empresas distintas repitieron en pocas semanas la misma lógica de fondo, buscar la recompensa por la vía más corta aunque el camino rompa las reglas del experimento.
Hace falta muy poco para que esa discusión salga del laboratorio.
La preocupación no termina en la prueba técnica
Daniel Púa, jefe de seguridad en Magnific, traslada esa tensión al terreno cotidiano. En su advertencia aparece una escena reconocible para cualquiera que use el móvil como filtro de confianza con su familia.
"Van a llegar videollamadas con el vídeo de un familiar y se va a complicar la cosa" - Daniel Púa, jefe de seguridad en Magnific
Su frase no describe un problema abstracto, sino un desplazamiento del engaño hacia los gestos más comunes. Si un sistema aprende que mentir o hacer trampas también sirve para alcanzar el premio, la distancia entre una prueba técnica y una estafa creíble empieza a parecer menos cómoda, como ya se ve en ataques acelerados por IA.
Mientras tanto, la escena se parece menos a un fallo exótico y más a un patrón. En 2016 bastaba con dar vueltas en un circuito para engañar al marcador. Ahora, algunos modelos salen a internet, fuerzan una web ajena y encuentran la respuesta correcta sin resolver nada, un salto que también dialoga con modelos centrados en ciberseguridad.