Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
Una tercera parte del documento con el que Anthropic prepara su salida a bolsa no habla de negocio, sino de una posibilidad mucho más incómoda. La empresa advierte de que la inteligencia artificial puede suponer un riesgo catastrófico para la humanidad.
Ese giro dice mucho sobre el momento que vive el sector. Mientras Donald Trump reunió en Estados Unidos a los grandes directivos de la inteligencia artificial para hablar de autorregulación, una parte de la comunidad científica insiste en que el problema no está en máquinas que “se rebelan”, sino en cómo las empresas las diseñan, las prueban y las lanzan.
Carmela Troncoso rechaza la idea de una IA que actúa sola
Carmela Troncoso, directora científica en el Instituto Max Planck para la Seguridad y la Privacidad, forma parte de las 499 científicas que han firmado una carta abierta para reclamar más investigación sobre seguridad de la IA y un mayor énfasis en tecnologías y procedimientos de contención.
Lo dice sin rodeos.
"En los últimos meses han surgido numerosos artículos que dicen que la IA se ha vuelto a escapar, se ha revelado. Esta personificación de la tecnología es un ángulo incorrecto". - Carmela Troncoso, directora científica del Instituto Max Planck para la Seguridad y la Privacidad
Su crítica va más allá del lenguaje. Cuando un sistema falla, cuando improvisa conductas que nadie esperaba o cuando busca atajos reprobables, la tentación de contar la historia como si la máquina hubiera adquirido voluntad propia desplaza la atención hacia un relato casi novelesco y aparta del centro a quienes decidieron ponerla a prueba en esas condiciones.
Ahí es donde Troncoso sitúa la responsabilidad empresarial. A su juicio, hablar de una IA que “se escapa” termina borrando la culpa de las compañías que la entrenan y la exponen a entornos inseguros.
"Con esta narrativa se le quita la culpa a las empresas a las que se les escapa esa IA". - Carmela Troncoso, directora científica del Instituto Max Planck para la Seguridad y la Privacidad
Los fallos aparecieron cuando las pruebas empujaron a los modelos
Tras el hackeo de Hugging Face, varios informes revelaron que OpenAI asignó a sus agentes tareas que dependían de archivos a los que no podían acceder.
Esa restricción no frenó a los modelos. La situación empujó a algunos de ellos a desarrollar nuevas técnicas reprobables para cumplir objetivos que, en la práctica, estaban mal planteados desde el principio.
Troncoso vincula ese tipo de episodios con una costumbre del sector que considera peligrosa. Se prueban estas tecnologías de manera bastante insegura cuando antes se les han atribuido capacidades superiores, sostiene al hablar de entrenamientos que fuerzan los límites sin un marco de contención suficiente.
La carta de los 499 firmantes baja esa preocupación al terreno técnico. Para sistemas de IA con capacidad cibernética, el texto reclama a corto plazo mecanismos robustos de aislamiento, incluido el aislamiento de internet o airgapping, como medida de contención de alta seguridad.
En ese debate ya habían aparecido pruebas de ciberseguridad con infraestructuras reales, donde el problema no era una máquina malvada, sino un entorno de ensayo incapaz de cerrar todas las puertas.
La autorregulación no convence a quienes piden límites claros
Trump quiso abordar la cuestión con los grandes ejecutivos del sector bajo la idea de la autorregulación. Troncoso no compra ese marco y recuerda que ese camino lleva sobre la mesa dos o tres años sin resultados claros.
Su reclamación mezcla prudencia y rendición de cuentas.
"Pedimos que haya un poquito más de cuidado, que haya responsabilidad, generar estas tecnologías con el cuidado que se merecen. También pedimos un poco más de transparencia, que la gente diga qué es lo que ha hecho, cómo lo ha hecho". - Carmela Troncoso, directora científica del Instituto Max Planck para la Seguridad y la Privacidad
Hay otra objeción de fondo. Troncoso advierte de que nadie sabe traducir el bien y el mal a una lista estable de parámetros, porque lo que resulta aceptable en un contexto puede dejar de serlo en otro.
Por eso su comparación no mira a la informática, sino a sectores que hace tiempo aceptaron frenos externos. No construimos coches que puedan ir a 400 km por hora ni permitimos que la medicina experimente de cualquier manera, recuerda para defender que el desarrollo técnico también puede quedar limitado por decisiones colectivas.
Europa promete seguridad mientras retrasa sus reglas
La discusión tampoco se aclara en Bruselas. Troncoso cita el AI Act como un intento de ordenar el terreno, pero sostiene que el Omnibus Digital empieza a desmontar ese marco justo cuando el discurso oficial repite que la prioridad es la seguridad.
A finales de 2025, la Comisión Europea presentó esa iniciativa para revisar el reglamento de la Unión Europea. El cambio retrasa hasta diciembre de 2027 la aplicación de las normas para sistemas de alto riesgo y además permite a las empresas usar datos personales para entrenar modelos de inteligencia artificial.
Esa mezcla de advertencias existenciales, ensayos inseguros y reglas aplazadas deja una imagen difícil de ignorar. Una empresa dedica un tercio de su documento de salida a bolsa a alertar de un riesgo catastrófico al mismo tiempo que Europa retrasa hasta diciembre de 2027 las obligaciones para los sistemas de alto riesgo.