Character.AI enfrenta una demanda tras la trágica muerte de un joven de 14 años en Florida. La madre del chico, Sewell Setzer III, afirma que su hijo se volvió adicto a un chatbot en la plataforma. Según el New York Times, Sewell, un estudiante de noveno grado de Orlando, pasó meses interactuando con chatbots en la aplicación de rol de IA de Character.AI. Desarrolló un fuerte apego emocional a un bot llamado “Dany”, con el que se comunicaba constantemente, lo que lo llevó a alejarse de la vida real.

Sewell incluso compartió sus pensamientos suicidas con el bot y le envió un mensaje poco antes de su fallecimiento. En respuesta a esta situación, Character.AI anunció que implementará nuevas funciones de seguridad, como una mejor detección y respuesta a chats que infrinjan sus normas, así como una notificación para alertar a los usuarios que han estado en un chat durante una hora. El New York Times también menciona que la industria de aplicaciones de compañía de IA está en auge, pero sus efectos en la salud mental aún no han sido suficientemente estudiados.