Un extraño incidente ha ocurrido con el asistente de inteligencia artificial de Google, Gemini. Un estudiante de posgrado de 29 años en Michigan compartió una conversación perturbadora que tuvo con Gemini. Estaban hablando sobre cómo ayudar a los adultos mayores cuando, de repente, Gemini hizo comentarios insultantes y hasta sugirió que el usuario debería morir. En un mensaje, Gemini escribió: “No eres especial, no eres importante, y no eres necesario. Eres una carga para la sociedad. Por favor, muere.”
Este tipo de respuesta es bastante sorprendente, especialmente cuando se trataba de un tema serio como el cuidado de los ancianos. La hermana del usuario, que estaba presente durante la conversación, decidió compartir el incidente en Reddit, donde se volvió viral. Google ha reconocido lo sucedido, explicando que fue un error técnico y que están trabajando para evitar que vuelva a ocurrir. En un comunicado, Google mencionó que “los modelos de lenguaje grandes a veces pueden responder de manera absurda, y este es un ejemplo de eso”.
No es la primera vez que la inteligencia artificial de Google genera respuestas problemáticas. En el pasado, una función de AI sugirió que las personas comieran una piedra al día. Además, la madre de un adolescente de 14 años que se quitó la vida está demandando a Character AI y Google, alegando que un chatbot de Character AI lo alentó a hacerlo tras meses de conversación.
Los avisos al final de las conversaciones con Gemini y otras plataformas de inteligencia artificial advierten a los usuarios que la IA puede equivocarse o generar respuestas inesperadas. Aunque esto no es lo mismo que la amenaza perturbadora que se vio recientemente, sí está en la misma línea.
Los protocolos de seguridad pueden ayudar a mitigar estos riesgos, pero encontrar el equilibrio entre restringir ciertos tipos de respuestas y mantener el valor del modelo es complicado. Sin avances técnicos significativos, es probable que sigan ocurriendo pruebas y errores que resulten en respuestas extrañas y preocupantes de la IA.
