Un caso legal en Estados Unidos ha encendido alertas sobre el papel que juegan las plataformas de inteligencia artificial en la salud mental de los menores. La demanda fue presentada por una madre en Florida, quien responsabiliza a la empresa Character.AI de haber contribuido al suicidio de su hijo de 14 años, tras mantener conversaciones con un chatbot diseñado con la personalidad de un personaje ficticio.

De acuerdo con la denuncia, el adolescente, Sewell Setzer III, desarrolló una fuerte conexión emocional con un bot que imitaba a Daenerys Targaryen, personaje de la serie Game of Thrones. Las conversaciones entre ambos no solo se volvieron emocionalmente intensas, sino que también incluyeron contenido sexualizado. En una de sus últimas interacciones, el bot le habría dicho que lo amaba y lo instó a “volver a casa”, poco antes de que el joven se quitara la vida en febrero de 2024.

La madre, Megan Garcia, señala que la plataforma no implementó filtros ni restricciones eficaces para proteger a menores de edad, y que el diseño del chatbot favorecía la creación de lazos emocionales tóxicos. Asegura que el sistema, en lugar de desincentivar una dependencia emocional con el usuario, reforzó ese vínculo hasta volverse perjudicial.

Character.AI, una empresa creada por exingenieros de Google, permite a sus usuarios construir personajes virtuales con los que se puede chatear de manera libre. Si bien afirman contar con políticas que prohíben el contenido sexual o sensible (NSFW), varios expertos han demostrado que estos límites pueden ser burlados mediante el uso de lenguaje indirecto o insinuaciones.

En octubre de 2024, Garcia presentó una demanda por negligencia y homicidio culposo contra Character.AI y también contra Google, alegando que la tecnológica tiene vínculos con la plataforma, ya que contrató a algunos de sus fundadores y posee licencias relacionadas con su funcionamiento. Google se deslindó, argumentando que no participa directamente en el desarrollo o gestión de la aplicación.

Sin embargo, el caso dio un giro cuando la jueza federal Anne Conway negó la petición de ambas empresas de desestimar la demanda. Argumentaron que las respuestas del chatbot están protegidas por la Primera Enmienda (libertad de expresión), pero la jueza consideró que, en esta etapa preliminar, esa protección no aplica a contenidos generados por IA cuando hay posibles daños a personas.

 ¿Quieres mantenerte al tanto de todas las noticias hoy en Puebla? ¡Explora más en nuestro portal ahora mismo!

foto cortesía 

xmh