A medida que más medios de comunicación reducen los acuerdos de licencia de contenido con OpenAI, un estudio reciente del Tow Center for Digital Journalism revela preocupaciones sobre cómo el chatbot de inteligencia artificial, ChatGPT, produce citas para el contenido de los editores. En resumen, los hallazgos sugieren que los editores siguen siendo vulnerables a la tendencia de la IA a inventar o malinterpretar información, independientemente de si permiten o no que OpenAI acceda a su contenido.
El estudio, realizado en la Escuela de Periodismo de Columbia, analizó las citas generadas por ChatGPT al pedirle que identificara la fuente de citas de una muestra de editores, algunos de los cuales tenían acuerdos con OpenAI y otros no. Los investigadores tomaron citas de 10 historias de 20 editores seleccionados al azar, incluyendo contenido de medios como The New York Times y The Washington Post.
Los investigadores encontraron que, aunque OpenAI enfatiza su capacidad para proporcionar respuestas rápidas con enlaces a fuentes relevantes, no hay un compromiso explícito para garantizar la precisión de esas citas. Esto es preocupante para los editores que esperan que su contenido sea referenciado de manera fiel.
El estudio reveló que no hubo un solo editor que se librara de representaciones inexactas de su contenido en ChatGPT. Se encontraron numerosos casos de citas incorrectas, con algunas siendo completamente erróneas y otras parcialmente correctas. En total, ChatGPT devolvió respuestas incorrectas en 153 ocasiones, pero solo admitió su incapacidad para responder con precisión en siete casos.
Además, el estudio destaca que ChatGPT podría estar recompensando el plagio, ya que en un caso citó erróneamente un sitio web que había plagiado un artículo del New York Times. Esto plantea serias dudas sobre la capacidad de OpenAI para filtrar y validar la calidad de sus fuentes de datos.
Los hallazgos son preocupantes incluso para los editores que tienen acuerdos con OpenAI, ya que las citas de ChatGPT no siempre fueron precisas en sus casos. Esto sugiere que permitir el acceso de los rastreadores de OpenAI no garantiza la exactitud.
El estudio también señala la variabilidad en las respuestas de ChatGPT, ya que al hacer la misma consulta varias veces, generalmente devolvía respuestas diferentes. Esto es problemático si se busca precisión en las citas.
Aunque el estudio es de pequeña escala, es significativo dado que muchos editores están estableciendo acuerdos con OpenAI. Si bien los editores que no tienen acuerdos de licencia pueden esperar obtener tráfico cuando ChatGPT menciona sus historias, el estudio indica que las citas pueden no ser precisas en esos casos tampoco.
En conclusión, los editores tienen poca capacidad de control sobre lo que sucede con su contenido cuando ChatGPT lo utiliza. OpenAI respondió a los hallazgos del estudio, acusando a los investigadores de realizar una prueba “atípica” de su producto y afirmando que apoyan a los editores al ayudar a los usuarios a descubrir contenido de calidad.
