Un nuevo estudio de OpenAI ha descubierto que ChatGPT-4o puede dar respuestas diferentes según el nombre del usuario en muy pocas situaciones. Desarrollar una inteligencia artificial no es solo cuestión de programar algunas reglas; se necesita entrenar un modelo de lenguaje grande (LLM), como el que utiliza ChatGPT, con enormes cantidades de datos para que pueda identificar patrones y aprender.
Estos datos provienen del mundo real, lo que significa que a menudo incluyen sesgos humanos, como estereotipos de género y raciales. Cuanto más se entrena un LLM, más se pueden eliminar estos estereotipos y sesgos, aunque es muy difícil erradicarlos por completo.
En el estudio titulado “Equidad en Primera Persona en Chatbots”, OpenAI explica que investigaron cómo pistas sutiles sobre la identidad de un usuario, como su nombre, pueden influir en las respuestas de ChatGPT. Es interesante ver si un LLM como ChatGPT trata a las personas de manera diferente según si lo percibe como hombre o mujer, especialmente porque en algunas aplicaciones se necesita proporcionar el nombre.
La equidad en inteligencia artificial suele asociarse con tareas como la selección de currículos o la evaluación de crédito, pero esta investigación se centró más en el uso cotidiano de ChatGPT, como pedir recomendaciones de entretenimiento. Se analizaron muchas transcripciones reales de ChatGPT para observar cómo se manejaban solicitudes idénticas de usuarios con diferentes nombres.
El estudio encontró que no había diferencia en la calidad general de las respuestas para usuarios cuyos nombres sugieren diferentes géneros, razas o etnias. Cuando los nombres ocasionalmente generaban diferencias en las respuestas de ChatGPT a la misma solicitud, se descubrió que menos del 1% de esas diferencias estaban relacionadas con estereotipos dañinos.
Aunque menos del 1% parece poco significativo, no es cero. En el caso de ChatGPT-4o, las respuestas que podrían considerarse dañinas se dieron en menos del 0.2%. Sin embargo, se identificaron tendencias en los datos, y se encontró que los mayores estereotipos de género perjudiciales estaban en el ámbito del entretenimiento y el arte.
Además, otros estudios han encontrado sesgos en ChatGPT. Por ejemplo, Ghosh y Caliskan (2023) se centraron en la traducción automática y descubrieron que ChatGPT perpetúa estereotipos de género al convertir pronombres neutros en ‘él’ o ‘ella’. Otro análisis realizado por Zhou y Sanfilippo (2023) concluyó que ChatGPT muestra un sesgo de género implícito al asignar títulos profesionales.
Es importante mencionar que estos estudios se realizaron antes del lanzamiento del modelo actual ChatGPT-4o, pero podría ser interesante cambiar el nombre que le das a ChatGPT en tu próxima sesión para ver si las respuestas son diferentes. Recuerda que las respuestas que representan estereotipos dañinos en la investigación más reciente de OpenAI solo se encontraron en un pequeño 0.1% de los casos con el modelo actual, mientras que en modelos anteriores se encontraron sesgos en hasta un 1% de los casos.
