OpenAI ha desarrollado nuevas herramientas para detectar contenido generado por ChatGPT y sus modelos de inteligencia artificial, pero aún no las va a implementar. La empresa ha ideado una forma de marcar el texto producido por IA con una especie de “marca de agua”. Este indicador incrustado podría ayudar a identificar cuándo un contenido ha sido escrito por IA. Sin embargo, OpenAI es cauteloso al ofrecer esta función, ya que podría perjudicar a quienes usan sus modelos con fines benignos.
El nuevo método de OpenAI emplearía algoritmos capaces de insertar marcadores sutiles en el texto generado por ChatGPT. Aunque invisibles a simple vista, la herramienta utilizaría un formato específico de palabras y frases que señalarían el origen del texto. Esto podría ser beneficioso en la industria de la IA generativa, ya que la marca de agua podría desempeñar un papel crucial en combatir la desinformación, asegurar la transparencia en la creación de contenido y preservar la integridad de las comunicaciones digitales.
Este enfoque es similar a una táctica ya empleada por OpenAI para sus imágenes generadas por IA. El modelo DALL-E 3 produce visuales con metadatos que explican su origen de IA, incluyendo marcas de agua digitales invisibles que pueden resistir intentos de eliminación mediante edición.
Sin embargo, las palabras no son lo mismo que las imágenes. Incluso en las mejores circunstancias, OpenAI admitió que un tercero podría reformular el texto generado por IA y hacer desaparecer la marca de agua. Además, aunque el nuevo enfoque de OpenAI podría funcionar en muchos casos, la empresa no ocultó sus limitaciones y por qué no siempre sería deseable emplear una marca de agua exitosa.
“Si bien ha sido muy preciso e incluso efectivo contra la manipulación localizada, como la parafraseo, es menos robusto contra la manipulación global; como usar sistemas de traducción, reformular con otro modelo generativo, o pedir al modelo que inserte un carácter especial entre cada palabra y luego eliminar ese carácter, lo que facilita la evasión por parte de actores malintencionados,” explicó OpenAI en una publicación de blog. “Otro riesgo importante que estamos evaluando es que nuestra investigación sugiere que el método de marca de agua en el texto tiene el potencial de impactar desproporcionadamente a algunos grupos.”
OpenAI está preocupado de que las consecuencias negativas de lanzar este tipo de marca de agua de IA superen cualquier impacto positivo. La empresa citó específicamente a aquellos que usan ChatGPT para tareas de productividad, pero también podría llevar a la estigmatización o crítica directa de los usuarios que dependen de herramientas de IA generativa, sin importar quiénes sean y cómo las usen.
Esto podría afectar desproporcionadamente a los usuarios no angloparlantes de ChatGPT, quienes emplean traducciones y crean contenido en diferentes idiomas. La presencia de marcas de agua podría crear barreras para estos usuarios, reduciendo la efectividad y aceptación del contenido generado por IA en contextos multilingües. La posible reacción negativa de los usuarios podría llevarlos a abandonar la herramienta si saben que su contenido puede ser fácilmente identificado como generado por IA.
Cabe destacar que esta no es la primera incursión de OpenAI en detectores de texto de IA. Sin embargo, la empresa terminó cerrando el detector anterior en solo seis meses y luego dijo que tales herramientas son ineficaces en general, explicando por qué no hay tal opción en una guía para profesores sobre el uso de ChatGPT. Aun así, la actualización sugiere que la investigación para encontrar una forma perfecta de detectar texto de IA sin causar problemas que alejen a las personas de los generadores de texto de IA está lejos de terminar.
Suscríbete para recibir noticias de última hora, reseñas, opiniones, las mejores ofertas tecnológicas y más.
