Character.AI ha lanzado nuevas características y políticas de seguridad para mejorar la interacción con las personalidades virtuales impulsadas por inteligencia artificial que ofrece. Estas medidas buscan hacer la plataforma más segura para todos los usuarios, especialmente para los más jóvenes. La actualización incluye un mayor control sobre cómo los menores interactúan con el chatbot de IA, más moderación de contenido y una mejor detección de conversaciones sobre temas como el autolesionismo.
Aunque no se mencionó en el blog sobre la actualización, Character.AI hizo referencia a un trágico suceso en una publicación en X, donde expresaron sus condolencias a la familia de un joven de 14 años que interactuó con uno de sus chatbots antes de quitarse la vida. Su familia ha demandado a Character.AI por muerte injusta, alegando que la falta de salvaguardias contribuyó a su suicidio. La empresa expresó su profundo pesar por esta pérdida y reafirmó su compromiso con la seguridad de sus usuarios, anunciando nuevas características de protección.
Entre las nuevas medidas, si el modelo detecta palabras clave relacionadas con el suicidio o autolesionismo, mostrará un aviso que dirigirá al usuario a la Línea Nacional de Prevención del Suicidio y recursos relacionados. Además, la IA será más eficaz en la identificación y eliminación de contenido inapropiado en las conversaciones, prestando especial atención a los usuarios menores de 18 años.
Se espera que los menores ya tengan restricciones en el contenido de las conversaciones, pero Character.AI ha intensificado esa sensibilidad. En casos donde esto no sea suficiente, algunos chatbots han sido eliminados. La empresa explicó que realiza una detección y moderación proactiva de los personajes creados por los usuarios, utilizando listas de bloqueo estándar de la industria que se actualizan regularmente.
Otras características nuevas están diseñadas para ayudar a los usuarios a mantenerse enfocados. Por ejemplo, recibirán una notificación después de una hora de uso, preguntando si desean continuar, para evitar que pierdan la noción del tiempo. También se incluirán advertencias más visibles que enfatizan que la IA no es una persona real, haciendo que sea imposible ignorarlas.
Estas medidas de seguridad son el contrapunto a cómo Character.AI ha hecho que interactuar con chatbots se sienta más como hablar con una persona real, gracias a las voces y las conversaciones bidireccionales disponibles con la función de Llamadas de Personaje. La empresa busca asegurar que sus servicios sean lo más seguros posible, lo que podría influir en cómo otros desarrollan sus propios personajes de chatbot de IA.
