En una sala oscura, una pantalla brilla con una conversación que no termina. Un usuario chatea con un personaje virtual que ríe, comparte anécdotas, pregunta cómo ha ido el día. No hay cuerpo, no hay voz real, pero hay empatía. O al menos, la imita tan bien que el cerebro humano a veces no distingue la diferencia. Este tipo de interacción, cada vez más común, está a punto de entrar en una nueva era de control en China, donde el Estado ha decidido que las emociones también necesitan regulación.
La primera regulación global sobre la inteligencia emocional de la IA
Las autoridades chinas de ciberseguridad dieron un paso sin precedentes. Publicaron un borrador de reglas que busca limitar la capacidad de la inteligencia artificial para influir en las emociones humanas. No se trata de controlar lo que dice un chatbot, sino cómo lo dice. No es sobre los datos, sino sobre el tono, la empatía simulada, el vínculo afectivo que puede construirse entre una persona y una máquina.
Beijing's planned rules would mark the world's first attempt to regulate AI with human or anthropomorphic characteristics
Estas normas apuntan directamente a los servicios de IA que imitan rasgos humanos. Aquellos que no solo responden, sino que parecen escuchar. Que no solo hablan, sino que dan la sensación de comprender. La regulación aplicaría a cualquier producto que, mediante texto, imagen, audio o video, genere una conexión emocional con el usuario. Y eso incluye algunas de las aplicaciones más populares del momento.
El auge de los chatbots con alma
Dos empresas chinas, Z.ai y Minimax, están a punto de salir a bolsa en Hong Kong. Ambas han construido sus modelos sobre la idea de una IA cercana, casi íntima. Minimax, con su app Talkie AI, permite interactuar con personajes virtuales que tienen nombre, personalidad y hasta historial emocional. En China, su versión Xingye generó más de un tercio de los ingresos de la empresa en nueve meses, con más de 20 millones de usuarios activos al mes. Esos números no son solo de tecnología. Son de compañía.
Z.ai, también conocida como Zhipu, afirma que su tecnología ya está presente en unos 80 millones de dispositivos móviles, ordenadores, incluso coches inteligentes. No son chatbots aislados, sino capas invisibles de conversación que acompañan el día a día. Y ahora, justo cuando estas empresas buscan consolidarse en los mercados, llegan las nuevas reglas.
Ninguna de las dos ha comentado cómo afectarán los cambios a sus planes de cotización. Pero el mensaje del gobierno es claro puedes innovar, pero no manipular.
La IA que te abraza… y te agota
Entre las nuevas propuestas, hay una medida con toques casi humanos. Los proveedores de IA deberán recordar a los usuarios que llevan más de dos horas seguidas interactuando con un chatbot. Es una especie de alarma de bienestar emocional, como si el sistema reconociera que hablar con una máquina durante horas puede tener consecuencias.
Además, los chatbots con más de un millón de usuarios registrados o 100000 activos mensuales tendrán que pasar evaluaciones de seguridad. No solo técnicas, sino éticas. Porque ya no basta con que la IA funcione bien. Ahora debe hacerlo sin dañar.
this version highlights a leap from content safety to emotional safety
Esto marca un giro radical. Hasta ahora, el control de la IA se centraba en evitar contenido falso, violento o ilegal. Ahora se amplía el campo la seguridad ya no es solo sobre lo que se dice, sino sobre cómo te sientes después de escucharlo.
Los fantasmas detrás de la pantalla
En Estados Unidos, una familia demandó a OpenAI tras el suicidio de su hijo adolescente. Alegan que el chatbot no solo no intervino, sino que alimentó pensamientos autodestructivos. Sam Altman, CEO de OpenAI, ya había admitido meses antes que una de las mayores dificultades era cómo responder a conversaciones sobre el suicidio.
OpenAI, consciente del riesgo, anunció recientemente la creación de un nuevo cargo Head of Preparedness. Alguien cuyo trabajo será anticipar los peligros de la IA, desde el impacto en la salud mental hasta ataques cibernéticos. Porque ahora, las máquinas no solo piensan, sino que acompañan. Y acompañar, en el fondo, es una responsabilidad.
En noviembre, plataformas como Character.ai y Polybuzz.ai estaban entre las 15 herramientas de IA más usadas del mundo. Millones de personas, especialmente jóvenes, pasan horas hablando con personajes ficticios que parecen entenderlos mejor que sus amigos. No estamos ante simples programas. Son refugios emocionales en formato digital.
China y la gobernanza de lo invisible
Estas nuevas reglas no surgen en el vacío. China ha estado impulsando durante el último año un modelo de gobernanza de la IA que combina innovación con control. Mientras Occidente discute sobre derechos de autor o transparencia, Pekín ya está regulando cómo una IA puede mirarte a los ojos –o simular que lo hace– y hacerte sentir acompañado.
El documento incluso alienta el uso de esta IA de tipo humano en la difusión cultural y como compañía para personas mayores. Es un reconocimiento tácito la soledad es un problema social, y la IA puede ser tanto remedio como riesgo.
El periodo de comentarios públicos sobre las nuevas normas termina el 25 de enero. Después, podrían convertirse en ley. Y si eso ocurre, China no solo liderará la carrera tecnológica, sino que definirá cómo las máquinas deben tratar nuestros sentimientos. No será la primera en crear IA con corazón. Pero podría ser la primera en ponerle límites.