La inteligencia artificial generativa ha sido mal utilizada en diversas ocasiones, desde la creación de trabajos académicos falsos hasta la copia de artistas. Recientemente, se ha descubierto que esta tecnología también se está utilizando en operaciones de influencia estatal. Un informe de Recorded Future, una empresa de inteligencia de amenazas de Massachusetts, indica que una campaña vinculada a Rusia, llamada “Operación Undercut”, utilizó productos comerciales de generación de voz por IA, incluyendo tecnología de la startup ElevenLabs.
Esta campaña tenía como objetivo debilitar el apoyo europeo a Ucrania y usó voces generadas por IA en videos de “noticias” falsos o engañosos. Estos videos, dirigidos a audiencias europeas, atacaban a políticos ucranianos, acusándolos de corrupción y cuestionando la utilidad de la ayuda militar a Ucrania. Por ejemplo, un video afirmaba que “ni siquiera los dispositivos de interferencia pueden salvar a los tanques Abrams estadounidenses”, sugiriendo que enviar tecnología avanzada a Ucrania es inútil.
Los creadores de estos videos “muy probablemente” usaron IA generativa de voz, incluyendo tecnología de ElevenLabs, para que su contenido pareciera más legítimo. Para comprobarlo, los investigadores de Recorded Future enviaron los clips a la herramienta de clasificación de voz de ElevenLabs, que permite detectar si un clip de audio fue creado con su tecnología, y obtuvieron una coincidencia. ElevenLabs no respondió a las solicitudes de comentarios.
Aunque Recorded Future mencionó el uso probable de varias herramientas comerciales de generación de voz por IA, no nombró a otras además de ElevenLabs. La campaña de influencia mostró, de manera accidental, la utilidad de la generación de voz por IA, ya que algunos videos fueron lanzados con voces humanas reales que tenían “un acento ruso discernible”. En contraste, las voces generadas por IA hablaban en varios idiomas europeos como inglés, francés, alemán y polaco, sin acentos extranjeros.
Según Recorded Future, la IA también permitió que los clips engañosos se lanzaran rápidamente en múltiples idiomas hablados en Europa. La actividad fue atribuida a la Agencia de Diseño Social, una organización con sede en Rusia que el gobierno de EE. UU. sancionó en marzo por operar “una red de más de 60 sitios web que imitaban organizaciones de noticias genuinas en Europa”.
El impacto general de la campaña en la opinión pública en Europa fue mínimo, concluyó Recorded Future. Esta no es la primera vez que se señala a los productos de ElevenLabs por un uso indebido. La tecnología de la empresa estuvo detrás de una llamada automatizada que se hizo pasar por el presidente Joe Biden, instando a los votantes a no salir a votar durante una elección primaria en enero de 2024, según una empresa de detección de fraude de voz.
En respuesta, ElevenLabs anunció nuevas funciones de seguridad, como el bloqueo automático de voces de políticos. La empresa prohíbe “la suplantación no autorizada, dañina o engañosa” y utiliza diversas herramientas para hacer cumplir esta política, incluyendo moderación automatizada y humana. Desde su fundación en 2022, ElevenLabs ha crecido rápidamente, alcanzando un ingreso recurrente anual de 80 millones de dólares, y podría ser valorada en 3 mil millones de dólares. Sus inversores incluyen a Andreessen Horowitz y al ex CEO de Github, Nat Friedman.
