Adobe ha lanzado nuevas capacidades de generación de video para su plataforma de inteligencia artificial Firefly, justo antes de su evento Adobe MAX. Desde hoy, los usuarios pueden probar el generador de video de Firefly en el sitio web de Adobe o experimentar con la nueva función Generative Extend en la aplicación beta de Premiere Pro. En el sitio web de Firefly, los usuarios pueden utilizar un modelo de texto a video o un modelo de imagen a video, ambos generando videos de hasta cinco segundos. La beta en la web es gratuita, aunque puede tener límites de uso.
Adobe ha entrenado a Firefly para crear contenido animado y medios fotorrealistas, según las especificaciones de las instrucciones que se le den. También puede producir videos con texto, algo que los generadores de imágenes de IA han tenido dificultades para lograr. La aplicación web de Firefly incluye configuraciones para ajustar movimientos de cámara, intensidad, ángulo y tamaño de la toma. En la beta de Premiere Pro, los usuarios pueden probar la función Generative Extend para alargar clips de video hasta dos segundos, generando un movimiento continuo de la cámara y de los sujetos. Además, el audio de fondo también se extenderá, ofreciendo un primer vistazo al modelo de audio de IA en el que Adobe ha estado trabajando.
En demostraciones previas al lanzamiento, la función Generative Extend de Firefly produjo videos más impresionantes que el modelo de texto a video, mostrando ser más práctica. Sin embargo, los modelos de texto a video e imagen a video no tienen el mismo nivel de calidad que los competidores de Adobe en el ámbito de video con IA, como Runway y OpenAI.
Adobe se está enfocando más en las funciones de edición de IA que en la generación de videos, buscando satisfacer a su base de usuarios. La compañía busca equilibrar sus herramientas de IA con las necesidades de su audiencia creativa, que teme que estas herramientas reemplacen su trabajo tradicional. Por eso, la primera función de video de Firefly, Generative Extend, utiliza IA para resolver un problema existente en la edición de video: la duración de los clips.
El vicepresidente de IA generativa de Adobe, Alexandru Costin, mencionó que su audiencia busca que la IA les ayude a extender los recursos que ya tienen, en lugar de generar nuevos desde cero. Adobe está tratando de ser consciente de las preocupaciones de los creativos, incluso pagando a fotógrafos y artistas por el contenido que envían para entrenar su modelo de IA.
Costin asegura que las herramientas de IA generativa crearán más demanda por el trabajo de los creativos, comparando esta revolución tecnológica con la llegada de la publicación digital y la fotografía digital, que inicialmente fueron vistas como amenazas. Además, Firefly insertará automáticamente marcas de agua que indican que los videos fueron generados por IA en los metadatos, aunque no tendrán etiquetas visibles que lo aclaren de manera fácil para los humanos.
Adobe ha diseñado Firefly para generar medios “comercialmente seguros”, evitando entrenar el modelo con imágenes o videos que incluyan drogas, violencia o materiales con derechos de autor. Ahora que Firefly está disponible en línea, se verá si realmente cumple con estas expectativas.
