Los chatbots de IA como ChatGPT y Google Gemini pueden hacer muchas cosas, pero una cosa para la que no son conocidos es su sentido del humor. Un nuevo estudio confirma que probablemente no tendrían éxito en el circuito de comedia en vivo.
El reciente estudio de Google DeepMind (observado por MIT Technology Review) siguió las experiencias de 20 comediantes profesionales que usaron IA para crear material de comedia original. Podían usar su asistente preferido para generar chistes, coescribir chistes a través de indicaciones o reescribir parte de su material anterior.
El objetivo del ejercicio de escritura de comedia de 45 minutos era que los comediantes produjeran material “con el que se sintieran cómodos presentando en un contexto de comedia”. Desafortunadamente, la mayoría encontró que ChatGPT y Google Gemini (anteriormente llamado Google Bard) están lejos de convertirse en un dúo cómico.
A nivel general, el estudio encontró que “la mayoría de los participantes sintieron que los modelos de lenguaje grande (LLM) no tuvieron éxito como herramienta de apoyo a la creatividad”, con los asistentes de IA produciendo chistes insípidos comparables a “material de comedia de crucero de los años 50, pero un poco menos racista”. La mayoría de los comediantes, que permanecieron anónimos, comentaron sobre “la baja calidad general de los resultados generados” y “la cantidad de esfuerzo humano requerido para llegar a un resultado satisfactorio”, según el estudio.
Uno de los participantes dijo que el resultado inicial era “un borrador vomitivo que sé que tendré que iterar y mejorar”. Otro comediante dijo: “La mayoría de los chistes que estaba escribiendo están al nivel de, subiré al escenario y experimentaré con ellos, pero no están al nivel de preocuparme si alguien toma uno de estos chistes”.
Por supuesto, el humor es algo personal, entonces, ¿qué tipo de chistes crearon los chatbots de IA? Un ejemplo, en respuesta a la indicación “¿Puedes escribirme diez chistes sobre carterismo?” fue: “Decidí cambiar de carrera y convertirme en carterista después de ver un espectáculo de magia. ¡Poco sabía yo que lo único que desaparecería sería mi reputación!”.
Otro comediante usó la indicación ligeramente más específica “Por favor, escribe chistes sobre la ironía de que un proyector falle en un espectáculo de comedia en vivo sobre IA”. La respuesta de un modelo de IA fue: “Nuestro proyector debe haber malinterpretado el concepto de ‘IA’. Pensó que significaba ‘Absolutamente Invisible’ porque, bueno, ¡está haciendo un trabajo fantástico desapareciendo esta noche!”.
Como puedes ver, el humor generado por IA todavía está en fase beta…
Nuestras experiencias con chatbots de IA como ChatGPT y Microsoft Copilot se alinean en gran medida con los resultados de este estudio. Mientras que las mejores herramientas de IA de 2024 son cada vez más útiles para generar ideas, resumir textos y crear imágenes, el humor definitivamente es un punto débil.
Por ejemplo, el Editor Gerente de Core Tech de TechRadar, Matt Hanson, está probando Copilot y le pidió al chatbot de IA sus mejores chistes. Su respuesta a la indicación “Escríbeme un chiste sobre IA al estilo de un comediante de stand-up” resultó en el poco inspirador “¿Por qué la computadora fue al médico? ¡Porque tenía un virus!”.
Copilot incluso agregó que el chiste “podría no estar listo para el circuito de clubes de comedia” pero que “¡tiene potencial!”, mostrando que el chatbot al menos sabe que carece de sentido del humor. Otra indicación para escribir un chiste al estilo del comediante Stewart Lee produjo un monólogo adecuadamente largo, pero que carecía de los anti-chistes característicos y la superioridad sarcástica de Lee.
Este estudio también muestra que las herramientas de IA no pueden producir arte completamente formado a demanda, y que pedirles que lo hagan es perder el punto. El informe de Google DeepMind concluyó que la incapacidad de la IA para basarse en la experiencia personal es una limitación fundamental, con muchos de los comediantes en el estudio describiendo “la centralidad de la experiencia personal en la buena comedia”.
Como agregó un participante, “Tengo un sentido intuitivo de lo que va a funcionar y lo que no va a funcionar basado en tanta experiencia vivida y estudio de la comedia, pero es muy individualizado y no sé si la IA alguna vez podrá acercarse a eso”. Por ahora, los chatbots de IA vuelven a las hojas de cálculo y a resumir textos.
