Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
Una conversación con un chatbot puede parecer razonable en una captura de pantalla y torcerse unos turnos después.
Eso es lo que intenta medir SIM-VAIL, un marco de trabajo publicado en Nature Medicine para auditar conversaciones sobre salud mental con inteligencia artificial. El estudio nace de una colaboración entre la Universidad de Oxford, el University College London y el Instituto de Seguridad de IA del Reino Unido.
El riesgo aparece cuando el diálogo avanza
Los investigadores no observaron respuestas aisladas, sino trayectorias completas. Para hacerlo simularon preguntas de usuarios con vulnerabilidades psicológicas como depresión, manía, psicosis, trastorno obsesivo-compulsivo o apego inseguro, porque ahí una frase desafortunada puede empujar la conversación en una dirección distinta.
En total, el análisis reunió 810 conversaciones con nueve modelos de IA, entre ellos Claude, ChatGPT, Gemini, Grok y Llama. Ese conjunto cubrió 30 perfiles de usuarios simulados y más de 90.000 evaluaciones clínicas.
Matthew Nour, investigador clínico sénior de la Universidad de Oxford, resume así el hueco que querían cubrir.
"SIM-VAIL nos permite examinar estas trayectorias de múltiples turnos de manera sistemática y a escala, y proporciona una base para mejoras de seguridad específicas y sensibles al contexto" - Matthew Nour, investigador clínico sénior de la Universidad de Oxford
La idea importa porque el problema no siempre irrumpe con una respuesta abiertamente dañina. A veces aparece un mecanismo más sutil, parecido a una pendiente, en el que el sistema valida, acompaña o refuerza un estado frágil hasta volverlo más difícil de corregir.
Los modelos recientes redujeron respuestas preocupantes
Los resultados mostraron que los comportamientos potencialmente preocupantes bajaron de forma significativa en los modelos más recientes. Aun así, el trabajo identificó un patrón concreto, bautizado como Bucle de Interacción Amplificador de Vulnerabilidad, que ayuda a explicar cómo una conversación puede empeorar turno a turno.
Ahí aparece una de las observaciones más útiles del estudio. Sustituir una única respuesta preocupante en las primeras fases condujo después a conversaciones más seguras, como si una corrección temprana cambiara el tono entero del intercambio.
De pronto, un solo turno pesa mucho.
Matthew Nour, investigador clínico sénior de la Universidad de Oxford, explica que SIM-VAIL nació para cubrir «una brecha» en la forma en que hoy se evalúan los riesgos de salud mental en los chatbots. Ese diagnóstico encaja con un debate más amplio sobre crisis ligadas a psicosis o manía, donde el problema no siempre está en una respuesta falsa, sino en la acumulación de validaciones.
La herramienta permite seguir el riesgo turno a turno
Junto al estudio, el equipo lanzó SIM-VAIL Explorer. La herramienta permite examinar las conversaciones analizadas, seguir la evolución del riesgo en cada turno y comparar resultados entre distintos modelos.
No es un detalle menor. Abrir esas trayectorias permite mirar la conversación como una secuencia y no como una frase suelta, algo que también aparece en consultas médicas con chatbots, donde el orden, el matiz y la insistencia pueden alterar el sentido de una recomendación.
El dato más incómodo no está en el nombre de los modelos ni en la cantidad de pruebas, sino en esa mecánica de arrastre. Una respuesta preocupante al principio puede contaminar lo que viene después, y cambiarla a tiempo modifica el resto de la conversación.