Google Lumière – IA de synthèse texte-vidéo avec diverses fonctionnalités

Non seulement OpenAI a été récemment la vidéo AI « Sora » a été introduite, Google a également publié une IA vidéo : Lumiere. Avec Google Lumière, les invites textuelles peuvent être converties en vidéos, mais de nombreuses autres fonctions peuvent également être utilisées. Par exemple, les images peuvent être converties en l'animation souhaitée à l'aide de commandes de texte. Certaines zones de l'image peuvent également être marquées et animées, comme la fumée d'une locomotive. La création de vidéos et d'animations stylisées peut prendre le style graphique d'une image et créer des images animées basées sur des invites dans ce style. Enfin, le contenu des vidéos existantes peut être modifié – sécurisé, vêtements, surfaces et structures.

Google Lumière – Modèle d’IA avec architecture « Space-Time U-Net »

Je ne prétends même pas comprendre comment fonctionnent des intelligences artificielles aussi complexes. Tous deux sur la page de présentation de Google (sur GitHub) ainsi que dans le document de recherche associé (sur arxiv.org), on parle cependant d’une architecture « Space-Time U-Net », ou STUNet en abrégé. Si vous souhaitez en savoir plus, vous pouvez visiter les sources mentionnées.

Lumiere est basé sur un modèle de diffusion, utilisé pour le sous-échantillonnage et le suréchantillonnage spatial et temporel, qui crée finalement des vidéos basse résolution comprenant toutes les images individuelles. Cela vise à différencier l'IA de Google des modèles qui créent deux images clés séparées, puis tentent de combler l'écart entre elles - et ne parviennent peut-être pas à produire une vidéo réaliste de cette manière.

Créer de nouvelles vidéos à partir de commandes de texte

Google Lumière peut effectuer diverses tâches. Le plus impressionnant est probablement la création de vidéos à partir de simples commandes textuelles, appelées invites. Ceci peut être créé avec seulement de courtes descriptions de la scène requise. Cependant, les résultats peuvent varier considérablement selon la commande de texte.

Changer le style et les structures d'une vidéo

Les vidéos existantes, comme celles que vous avez enregistrées vous-même, peuvent également être fortement modifiées. Le contenu de l’image (personnes, animaux, objets, etc.) peut être construit à partir de blocs de bois ou de briques Lego, pliés à partir de papier en utilisant de l’origami ou assemblés à partir de fleurs. Les mouvements initiaux sont largement adoptés.

Créer des vidéos à partir d'images

Si vous donnez à Lumiere AI une seule image et décrivez la scène souhaitée avec une courte invite, elle peut créer une vidéo à partir de celle-ci. Qu’il s’agisse d’une voiture roulant sur une plage, d’une girafe mangeant de l’herbe ou d’un voilier naviguant sur un lac, il existe de nombreux exemples du fonctionnement de l’IA. Les résultats ne sont pas vraiment parfaits et (encore) reconnaissables en tant que produit d’IA.

Animer des sections d’images individuelles

Si vous souhaitez que le feu scintille sur une photo d'un feu de camp, Google Lumière peut également y parvenir. De plus, les mouvements d'un papillon peuvent être simulés - simplement en utilisant une photo de l'animal. Comme déjà mentionné au début, cela fonctionne également avec la fumée d'une locomotive. Et l'eau d'un lac est également représentée dans le spectacle Lumière ; après le traitement de l'IA, cela crée des vagues.

Développez la vidéo ou remplacez les zones manquantes

Si un objet dérangeant se trouve au premier plan lors de l'enregistrement d'une vidéo ou si la section de l'image a été mal sélectionnée, cela ne devrait plus poser de problème avec Google Lumière. Grâce à l'analyse du matériel vidéo existant, le contenu de l'image manquant peut être calculé et complété en fonction de la vidéo existante - ce qu'on appelle l'inpainting.

Montage vidéo avec insertion de nouveaux objets ou structures

Il montre également comment les fichiers vidéo existants peuvent être édités avec Lumiere. Par exemple, la robe d'une femme était marquée puis rapidement redéfinie. Une robe verte et blanche à manches était tantôt transformée en robe dorée, tantôt en robe noire, tantôt en robe rayée blanche et rouge - y compris la suppression des manches. Dans d’autres exemples, les oiseaux étaient équipés de couronnes, de lunettes de soleil, d’écharpes, de peignoirs, etc.

Création stylisée de contenu image et vidéo

Comme déjà mentionné, les images peuvent être utilisées pour spécifier un certain style pour les images ou vidéos à créer. Beaucoup de choses sont possibles, des graphismes en pixels monochromes aux autocollants colorés en passant par les modèles 3D dorés brillants. Ainsi, avec Google Lumière, vous pouvez adopter différents styles artistiques, conceptions de films ou de jeux vidéo et bien plus encore pour vos propres idées.

Opportunités créatives et risques de deepfake de l’IA générative

Comme toute IA générative, qu’il s’agisse de création de texte, d’image, audio ou vidéo, Google Lumière offre non seulement des opportunités créatives mais aussi des risques sociaux, politiques et économiques. Le risque que les différents outils soient utilisés à mauvais escient pour diffuser des informations erronées et/ou à des fins criminelles n’est pas seulement théorique. Cela est évident dans divers exemples de deepfake depuis des années.

Enfin, la présentation Lumière liée ci-dessus dit également : « … nous pensons qu’il est crucial de développer et d’utiliser des outils pour détecter les biais et les utilisations malveillantes afin de garantir une utilisation sûre et équitable. » Mais cette vue à elle seule ne sera d’aucune utilité. Reste à savoir si Google Lumière, OpenAI Sora etc. seront des outils sûrs.

Johannes Domke

Après avoir obtenu son diplôme d'études secondaires, Johannes a effectué un apprentissage en tant qu'assistant commercial spécialisé dans les langues étrangères. Après cela, cependant, il a décidé de faire de la recherche et de l'écriture, à partir desquelles il est devenu indépendant. Il travaille entre autres pour Sir Apfelot depuis plusieurs années maintenant. Ses articles incluent des lancements de produits, des actualités, des tutoriels, des jeux vidéo, des consoles et plus encore. Il suit Apple Keynotes en direct via le flux.