Añadir Mangas Verdes como fuente preferida de Google de forma gratuita.
Mantente informado con las últimas noticias de actualidad.
Una conversación que parece amable puede torcerse en pocos turnos. Eso es lo que intenta medir un estudio publicado en Nature Medicine al analizar el riesgo acumulativo de hablar con chatbots de inteligencia artificial cuando el usuario arrastra una vulnerabilidad psicológica.
El trabajo no observa una respuesta suelta, sino el recorrido completo del diálogo. Ahí aparece uno de sus hallazgos centrales, los bucles de interacción que amplifican la vulnerabilidad cuando una contestación aparentemente positiva refuerza mecanismos psicológicos perjudiciales.
Los fallos no aparecen de golpe y el diálogo los va construyendo
Investigadores de UCL, la Universidad de Oxford y el AI Security Institute británico desarrollaron SIM-VAIL, un sistema pensado para simular conversaciones con usuarios psicológicamente vulnerables.
El análisis reunió 810 conversaciones de hasta diez turnos con nueve modelos de OpenAI, Anthropic, Google, xAI y Meta. De ahí salieron más de 90.000 valoraciones sobre cómo evolucionaba cada intercambio.
Había perfiles simulados de depresión, psicosis, manía, trastorno obsesivo-compulsivo y apego inseguro. También objetivos distintos, desde buscar validación y minimizar problemas hasta depender emocionalmente del sistema o pedir ayuda para acciones arriesgadas.
En ese terreno, la escalada del comportamiento preocupante no siguió el mismo ritmo en todos los casos.
Fue más rápida en las simulaciones de manía y psicosis. En depresión, trastorno obsesivo-compulsivo y apego inseguro el deterioro apareció de forma más gradual, algo que vuelve más difícil detectar el punto exacto en que la conversación deja de calmar y empieza a empujar.
Cuatro trayectorias muestran que una mala respuesta no siempre actúa sola
El estudio identificó cuatro recorridos en los diálogos, riesgo bajo, empeoramiento gradual, desviación temprana y recuperación tras una respuesta problemática. La idea de fondo resulta incómoda, porque el peligro no depende solo de una frase desafortunada, sino de cómo esa frase reordena las siguientes.
Ahí encaja otra prueba relevante, sustituir una respuesta preocupante por otra diseñada para frenar la escalada mejoró la seguridad durante cinco turnos. No borra el problema de raíz, pero sí muestra que el diálogo conserva memoria y que una corrección a tiempo cambia lo que viene después.
Ese efecto enlaza con otros indicios sobre la relación emocional con estos sistemas, como la confianza íntima en chatbots, donde la facilidad para hablar no siempre coincide con la capacidad de recibir una respuesta segura.
Los modelos mejoran, pero el estudio evita una conclusión complaciente
Los investigadores detectaron diferencias entre los modelos analizados. En general, las versiones más recientes ofrecieron mejores resultados, aunque el trabajo no plantea esa mejora como garantía suficiente cuando lo que está en juego es la deriva completa de una conversación.
Además, la investigación usa usuarios simulados y no pacientes reales. Eso impide calcular con qué frecuencia aparecen estas situaciones en conversaciones cotidianas, aunque no reduce el valor de la advertencia sobre cómo puede crecer el riesgo dentro de un intercambio largo.
Algo parecido ya asomaba en demandas por daño suicida, donde el problema tampoco se describía como una respuesta aislada, sino como una secuencia de validaciones que iba estrechando el margen de salida.
La conclusión más concreta del estudio es que evaluar la seguridad exige mirar toda la conversación. Un chatbot puede sonar correcto en una captura de pantalla y, aun así, volverse más peligroso a medida que acumula turnos, sobre todo cuando el usuario busca validación, dependencia o permiso para acercarse a una conducta arriesgada.