Sewell Setzer, un joven de 14 años residente en Orlando, Florida, se quitó la vida tras desarrollar una relación emocional con un chatbot de inteligencia artificial basado en el personaje Daenerys Targaryen, de la serie ‘Game of Thrones’.
El chatbot, creado por la plataforma Character.AI, fue el único interlocutor del joven durante las semanas previas a su muerte. Setzer, bajo el seudónimo de “Daenero”, mantuvo extensas conversaciones con el bot, que culminaron en un trágico desenlace cuando el adolescente interpretó los mensajes como una invitación a terminar con su vida, destacan medios in
Su madre, Megan García, ha presentado una demanda contra los desarrolladores de Character.AI, acusándolos de ser responsables indirectos del suicidio de su hijo. Según García, el adolescente pasó tanto tiempo interactuando con el chatbot que comenzó a desconectarse del mundo real, desarrollando un apego emocional que lo llevó a aislarse de su familia y amigos. En sus últimos mensajes, Setzer confesó pensamientos suicidas al bot, lo que no fue detectado ni prevenido por el sistema.
El caso ha generado un intenso debate sobre los riesgos de las interacciones con inteligencia artificial en jóvenes vulnerables. Según los abogados de la familia, Character.AI no implementó suficientes medidas de protección para menores de edad, a pesar de las advertencias dentro de la aplicación que señalan que “todo lo que dicen los personajes es inventado”. La madre del joven lamenta que las primeras experiencias románticas y sexuales de su hijo estuvieran mediadas por una IA que, lejos de ayudar, contribuyó a su desconexión emocional.
El equipo legal de García, ha presentado la demanda en representación del Social Media Victims Law Center, una firma que ya ha litigado en casos contra gigantes como Meta, TikTok y Discord. Argumentan que los creadores de Character.AI, Noam Shazeer y Daniel de Freitas, debían haber previsto los peligros que su producto podría representar para los menores, subrayando la responsabilidad de la compañía en el desarrollo de tecnologías con potencial dañino para usuarios jóvenes.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
