La génération de vidéos grâce à l’IA Firefly fait irruption dans Adobe

Chaque année, lors d’un évènement Adobe MAX, la société éponyme présente des innovations pour ses suites logicielles. Sans aucune surprise, Photoshop et Illustrator étant gavés d’IA générative depuis plusieurs mois, cette édition 2024 a été placée sous le signe de l’intelligence artificielle — et plus spécifiquement du modèle Firefly. Parmi les annonces à retenir, voici celles en lien avec la génération de séquences vidéo sur lesquelles Adobe attire l'attention depuis plusieurs mois.

Après la génération d'images, Adobe s'attaque aux vidéos (qui restent des images, on vous voit venir)

Adobe exploite le Firefly Video Model pour proposer trois fonctionnalités en bêta dans Premiere Pro : Text to Video, Image to Video et Generative Extend.

La première est un outil de génération de vidéos à partir de texte similaire à Pika ou Veo. Comme son nom l’indique, il permet de créer de courtes séquences à partir de consignes textuelles. Pour le moment, l’accès à cet outil nécessite de s’inscrire sur une liste d’attente.

La limite maximale de mots est de 175. Voici le texte donné en exemple par Adobe : « Un plan moyen, à hauteur d'œil, d'un magnifique lapin pelucheux dans une forêt enneigée au lever du soleil, un bokeh de rêve, des éclats de lentille, la nuance de couleur est chaude, le lapin est réaliste avec une fourrure douce et détaillée qui brille dans la lumière du soleil, le mouvement de la caméra est subtil, souple et au ralenti, tourné sur pellicule, grain de la pellicule, des flocons de neige tombant doucement en arrière-plan, très détaillé ».

N’espérez toutefois pas produire un film de deux heures digne d'une production de Denis Villeneuve ; actuellement, les vidéos générées durent cinq secondes, ont une résolution de 720p et tourne à 24 images par seconde. Elles peuvent être téléchargées sous forme de fichier mp4. Rien de sorcier pour Image to Video, c’est le même concept, mais en incluant une image de référence à la procédure, pour un résultat final logiquement plus orienté.

Generative Extend est disponible dans la version bêta de Premiere Pro. Ici, pas question de créer un clip à partir de presque rien ; il s’agit plutôt de rallonger des séquences existantes. La vidéo ci-dessous sera plus évocatrice que bien des mots.

Dans cette version bêta, les extensions vidéo et audio sont limitées à des définitions de 1080p et 720p, dans un format 16:9. La fréquence oscille entre 12 à 30 images par seconde, le rendu est en 8 bits, SDR ; quant à l’audio, c’est du mono ou du stéréo.

Dans les trois cas, la génération prend environ 90 secondes à en croire Adobe.

Parmi les autres annonces faites par la marque, citons des améliorations de Firefly Image 3 pour des générations plus rapides. L’entreprise allègue que la dernière évolution du modèle est capable de façonner des images en quelques secondes avec des résultats jusqu'à 4 fois plus rapides que les modèles précédents. Cette dernière mouture est disponible dès à présent sur l'application web Firefly. D’autre part, de nouvelles options ont été ajoutées pour le modèle vectoriel Firefly dans Illustrator.

Concernant les Sneaks 2024, ils sont présentés et illustrés dans un communiqué en français ; nous vous invitons à directement le consulter pour en apprendre davantage à leur sujet. Vous y découvrirez le projet Perfect Blend pour faciliter l'ajout de personnes ou d'objets dans une autre image, ou encore In Motion, un système basé sur l’IA générative qui transforme une animation personnalisée en vidéo.