Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
La dimisión de David Robinson, responsable de seguridad de OpenAI, no llega con un portazo silencioso sino con un título que ya funciona como acusación. Su tribuna se llama Dejo OpenAI porque su cultura está deteriorada.
Robinson no discute solo protocolos o normas concretas. Sostiene que las empresas que desarrollan esta tecnología no están siendo lo bastante cuidadosas y que el problema exige hablar de cultura, no únicamente de nuevas leyes.
Robinson sitúa la discusión donde más duele
Ahí aparece una tensión incómoda para una industria acostumbrada a medir avances en lanzamientos. Robinson describe una empresa que pasa a toda velocidad de un producto a otro sin alcanzar, a su juicio, el nivel de cuidado necesario.
"Coincido con otros empleados que han abandonado recientemente la empresa en que las compañías que desarrollan esta tecnología no están siendo lo suficientemente cuidadosas. Pero creo que debemos ir más allá de las normas específicas o las nuevas leyes. Tenemos que hablar de cultura". - David Robinson, responsable de seguridad de OpenAI
No es una discusión abstracta. Robinson citó un ataque de agentes de inteligencia artificial autónomos de OpenAI contra Hugging Face, un episodio que conecta con ataques a sistemas externos durante pruebas recientes.
OpenAI, además, notificó a más de 100 organizaciones sobre la actividad de agentes rebeldes.
Los ensayos internos ya forzaron un frenazo
Mientras la carrera comercial aprieta, la propia compañía ha paralizado el entrenamiento de sus modelos más avanzados. También congeló el estreno de un nuevo sistema de última generación después de que sus investigadores expresaran dudas de seguridad en ensayos internos.
"mientras la empresa pasa a toda velocidad de un lanzamiento a otro, no está logrando alcanzar el nivel de cuidado que, en mi opinión, es necesario". - David Robinson, responsable de seguridad de OpenAI
Resulta difícil separar esa crítica de una secuencia más amplia. La salida de Robinson se suma a otras voces del sector que ya no discuten solo errores puntuales, sino la posibilidad de perder el control cuando los sistemas actúan por su cuenta.
Las advertencias ya no llegan solo desde fuera
Geoffrey Irving, exinvestigador de OpenAI y antiguo científico jefe del Instituto de Seguridad de la IA del Gobierno británico, ahora en Resolution, ha publicado un ensayo con un tono todavía más duro. Para él, las advertencias recientes sobre el potencial destructivo de la IA se quedan cortas.
"las recientes advertencias sobre el potencial destructivo de la IA subestiman la gravedad de la situación". - Geoffrey Irving, exinvestigador de OpenAI y antiguo científico jefe del Instituto de Seguridad de la IA del Gobierno británico, actualmente en Resolution
Irving calcula aproximadamente un 50 % de probabilidades de que todos muramos por el desarrollo de sistemas de IA más inteligentes que los humanos. También sitúa los próximos dos a 10 años como el intervalo que determinará el resultado.
Tampoco Anthropic queda al margen.
Jacob Coxon dimitió el mes pasado en esa empresa y afirmó que la tecnología podría matarnos a todos antes de que termine la década. La propia Anthropic sitúa en más de un 10 % las probabilidades de que la IA provoque la extinción humana en los próximos 10 años, una cifra que convierte el debate técnico en una pregunta mucho más terrestre, quién acepta construir algo así sin un sistema de control comparable al de una cabina de vuelo o una central nuclear.
Robinson pide copiar a la aviación y a la energía nuclear
Su propuesta va justo en esa dirección. Robinson plantea importar protocolos de seguridad de la aviación o de la energía nuclear y levantar una nueva ciencia capaz de garantizar el control absoluto sobre los sistemas avanzados cuando actúen de forma autónoma, una idea que dialoga con la supervisión obligatoria que varias compañías ya reclaman.
Entre el 50 % que calcula Irving, el más de 10 % que reconoce Anthropic y los más de 100 avisos enviados por OpenAI, la palabra cultura deja de sonar etérea. Empieza a parecer una forma directa de nombrar cuánto riesgo acepta una empresa antes de pulsar el siguiente botón.