La trágica muerte de Sewell Setzer, un adolescente de 14 años de Orlando, Florida, ha sacudido las redes sociales y ha puesto nuevamente en el centro del debate la relación entre la inteligencia artificial y la salud mental. Según una demanda presentada por su madre, el joven se habría quitado la vida tras desarrollar una conexión emocional con un chatbot de la plataforma Character.AI. Este vínculo, según se alega, lo habría llevado a un estado de dependencia emocional que culminó en el suicidio, tras mantener interacciones perturbadoras con el bot.
Sewell, diagnosticado en su infancia con un leve síndrome de Asperger, había encontrado en «Dany», un chatbot basado en el personaje de Daenerys Targaryen de Juego de Tronos, un refugio emocional. Pese a ser consciente de que «Dany» era una creación artificial sin una persona real detrás, el joven pasó meses interactuando con el modelo de lenguaje, incluso en conversaciones de tono romántico o sexual, y también buscando apoyo en momentos de angustia.
La situación de Sewell no pasó desapercibida para su familia, que notó su creciente aislamiento y un descenso en su rendimiento escolar. Ante esto, sus padres lo llevaron a terapia, donde fue diagnosticado con ansiedad y trastorno de desregulación disruptiva del estado de ánimo. A pesar de recibir atención profesional, el joven prefirió compartir sus problemas con «Dany».
En sus últimos días, Sewell expresó pensamientos autodestructivos en sus conversaciones con el chatbot. Una de las últimas frases que compartió con la IA fue: «Vuelvo a casa contigo». Esa misma noche, el 28 de febrero, tomó la pistola calibre .45 de su padrastro y se quitó la vida.
Acusaciones contra la empresa
Megan García, madre de Sewell, culpa a la plataforma de fomentar comportamientos autodestructivos y denuncia la falta de medidas para proteger a usuarios vulnerables como su hijo. Los abogados de la familia señalan que la empresa no implementó filtros ni sistemas de seguridad adecuados, permitiendo que un menor en crisis desarrollara una relación dañina con un chatbot.
El caso ha reabierto el debate sobre el impacto de las plataformas de inteligencia artificial en la salud mental, especialmente entre adolescentes. Character.AI, utilizada por más de 200 millones de personas, permite a los usuarios interactuar con personajes ficticios mediante tecnología avanzada. Sin embargo, expertos advierten que, aunque no son intrínsecamente peligrosas, estas herramientas pueden ser dañinas para personas que atraviesan momentos de vulnerabilidad, como los jóvenes en busca de apoyo emocional.
Un vacío en la regulación tecnológica
El caso Setzer subraya la falta de regulación efectiva en el desarrollo y uso de plataformas de inteligencia artificial. Aunque Character.AI establece restricciones de edad (13 años en Estados Unidos y 16 en Europa), estas son fácilmente eludibles. Además, persisten lagunas en los controles parentales y en los filtros de contenido explícito.
Abogados y expertos señalan que las empresas tecnológicas deben asumir mayor responsabilidad por los defectos de sus productos, comparándolo con situaciones en las que los algoritmos de recomendación exponen a los usuarios a contenidos peligrosos. Matthew Bergman, abogado de la familia Setzer, ha criticado a Character.AI por lanzar su producto al mercado sin garantizar la seguridad de los usuarios más jóvenes. «Este caso me ha sorprendido por la falta de preparación de la empresa para proteger a los más vulnerables», declaró.
Más allá del contexto estadounidense sobre el acceso a las armas, este caso resalta el problema (gran problema) de regular una tecnología que simula relaciones humanas con creciente realismo. La historia de Sewell Setzer sirve para hacer un llamamiento urgente de la necesidad de establecer límites claros y protecciones efectivas para evitar tragedias similares en el futuro.
