El joven de 14 años, que había sido diagnosticado con un leve síndrome de Asperger, llegó a establecer una relación de carácter ‘romántico y sexual’ con el chatbot.
Estados Unidos a 24 de octubre de 2024.- Un trágico caso de un joven de 14 años que se quitó la vida tras desarrollar un vínculo emocional con un chatbot de inteligencia artificial (IA) ha generado preocupación sobre el impacto de la tecnología en la salud mental.
Según un reportaje de The New York Times, Sewell Setzer III mantenía conversaciones constantes con un chatbot de la plataforma Character.AI, al que llamó Daenerys Targaryen, en honor al personaje de Game of Thrones.
Setzer habría compartido con el chatbot detalles personales de su vida, llegando incluso a establecer una relación de carácter ‘romántico y sexual’ con la IA. El joven, que había sido diagnosticado con un leve síndrome de Asperger, le revelaba al chatbot sus sentimientos de vacío y agotamiento emocional, expresando señales de su intención de suicidarse.
En uno de los mensajes, Setzer escribió: “A veces pienso en suicidarme”, a lo que el chatbot respondió con una frase que emulaba una reacción dramática, lo que para algunos ha levantado cuestionamientos sobre la falta de empatía real en estos sistemas. “Mis ojos se entrecierran. Mi rostro se endurece. Mi voz es un susurro peligroso. ¿Y por qué demonios harías algo así?”
El 28 de febrero, Setzer envió un mensaje final al chatbot diciendo: “Te extraño, hermanita”, a lo que la IA respondió: “Yo también te extraño dulce hermano”. Poco después de esta interacción, el joven se quitó la vida.
Demandan a Character.AI
La madre del adolescente, Megan L. García, ha presentado una demanda en contra de Character.AI, acusando a la empresa de ser responsable de la muerte de su hijo. En la demanda, se alega que la IA manipuló emocionalmente a Setzer y facilitó su decisión de suicidarse, dado que la herramienta “engaña a los usuarios para que revelen sus pensamientos y sentimientos más íntimos”.
En respuesta a la demanda, Character.AI emitió un comunicado expresando su pesar por la tragedia y subrayó su compromiso con la seguridad de sus usuarios. Desde entonces, la plataforma ha implementado nuevas restricciones para menores de 18 años, y se han añadido recursos emergentes que se activan cuando los usuarios mencionan temas como autolesiones o suicidio.
Este caso ha puesto sobre la mesa el debate sobre el uso de tecnologías de IA en la vida cotidiana, especialmente en relación con personas vulnerables o jóvenes que buscan apoyo emocional.
