En una tarde de junio de 2024, un algoritmo detectó una señal de alarma. Dentro de los millones de conversaciones que ChatGPT gestiona cada día, una serie de mensajes llamaron especialmente la atención. Una usuaria describía escenarios detallados de violencia armada. Los empleados de OpenAI los revisaron y coincidieron eran muy preocupantes. La cuenta fue cerrada. Pero nadie fue avisado. Ni las autoridades, ni la familia, ni nadie.
Seis meses después, el 10 de febrero, esa misma joven irrumpió en su instituto en Tumbler Ridge, Canadá. Había matado ya a su madre y a su hermano. Allí, acabó con la vida de siete personas más antes de quitarse la suya. Una tragedia que hoy deja una pregunta incómoda flotando en el aire si una inteligencia artificial vio venir el peligro, ¿por qué no dijo nada?
La frontera entre la privacidad y la prevención
Los sistemas de detección automática de contenido peligroso en plataformas de inteligencia artificial están diseñados para identificar palabras clave, patrones de comportamiento o secuencias de preguntas que sugieran riesgos. En este caso, funcionaron. Lo vieron. Pero la decisión humana que siguió fue no actuar más allá del bloqueo de la cuenta.
Un exempleado de OpenAI, en declaraciones al New York Times, explicó una clave que muchos desconocen
"No se suele hacer una simple búsqueda, sino que se puede mantener una conversación más larga donde las intenciones queden más claras" - exempleado de OpenAI
Este matiz es fundamental. A diferencia de un motor de búsqueda, un chatbot permite un diálogo progresivo. Puedes empezar preguntando sobre armas y terminar planeando un ataque. Ese hilo conversacional puede ser más revelador que cualquier frase aislada. Pero también abre la puerta a errores. ¿Y si quien escribe está trabajando en una novela? ¿Y si es un estudiante de psicología explorando el perfil de un criminal?
Los falsos positivos son inevitables. Y las empresas lo saben. Cerrar una cuenta es una medida segura. Alertar a las fuerzas del orden, en cambio, implica cruzar una línea ética y legal que aún no está definida.
El caso de Las Vegas y el silencio de la IA
A principios de 2025, un hombre estacionó un Cybertruck cargado de explosivos frente a un hotel en Las Vegas. No hubo reivindicaciones, ni amenazas previas conocidas. La detonación acabó con su vida, pero pudo haber provocado una masacre.
Lo escalofriante es lo que se descubrió después. Días antes del atentado fallido, el hombre había interactuado con ChatGPT. Le preguntó cómo llevar a cabo el ataque. Esta vez, el sistema no detectó ninguna bandera roja. No hubo alerta automática. Fue un análisis posterior, tras el hecho, lo que reveló la conversación.
En contraste con el caso de Canadá, aquí no hubo ni siquiera una señal. La IA no intervino porque no supo interpretar la amenaza. Y eso plantea otra cara del problema no solo falla cuando no actúa tras detectar un riesgo, sino también cuando no detecta nada en absoluto.
El veneno silencioso de Seúl
En Seúl, una mujer está encarcelada por el presunto asesinato de dos personas. Según la investigación, utilizó benzodiacepinas, mezclándolas con alcohol para provocar una intoxicación letal. Antes del crimen, consultó a un chatbot quería saber cuál era la dosis peligrosa y qué efectos tenía combinarla con bebidas alcohólicas.
Estas preguntas, según el análisis del artículo, "no son tan alarmantes y podrían surgir por una duda genuina". Y eso es lo más difícil. ¿Cómo distinguir entre un curioso, un enfermo, un escritor o un asesino en potencia?
La inteligencia artificial no tiene acceso al contexto emocional, a la mirada, al tono de voz. Solo ve palabras. Y en ese vacío, la responsabilidad recae en quienes diseñan los sistemas y quienes los supervisan. La obligación, por tanto, no es legal, sino ética.
¿Quién debe actuar cuando la IA suena la alarma?
No existe una ley que obligue a las empresas de inteligencia artificial a informar a las autoridades cuando detectan intenciones de daño. A diferencia de los psicólogos o los médicos, que están legalmente obligados a romper el secreto profesional si hay riesgo inminente, los desarrolladores de IA operan en una zona gris.
Las autoridades canadienses ya han llamado a OpenAI a rendir cuentas. Quieren saber por qué, tras detectar mensajes tan explícitos, no se activó ningún protocolo de alerta. No se trata solo de un fallo técnico, sino de una decisión corporativa. ¿Hasta dónde debe llegar la vigilancia para prevenir el daño? Y, sobre todo, ¿quién define el umbral del peligro?
Estamos ante un nuevo tipo de dilema del tranvía. No es filosófico, sino cotidiano. Cada día, millones de personas conversan con chatbots sobre temas que van desde la cocina hasta la autodestrucción. Y cada vez que alguien escribe algo que suena a amenaza, se activa un sistema que debe decidir ignorar, bloquear o alertar.
El problema no es que la IA sea omnipotente. Es que, a veces, ve más de lo que deberíamos permitirle ver. Y otras, no ve nada cuando más falta hace. En ese equilibrio inestable, se juega el futuro de la privacidad, la seguridad y la responsabilidad humana en la era de las máquinas.