Google Lumiere: AI da testo a video con varie funzionalità

Non solo OpenAI è stato recentemente è stata introdotta la video AI “Sora”., Google ha anche rilasciato un video AI: Lumiere. Con Google Lumiere è possibile convertire i messaggi di testo in video, ma si possono utilizzare anche numerose altre funzioni. Ad esempio, le immagini possono essere convertite nell'animazione desiderata utilizzando comandi di testo. È inoltre possibile contrassegnare e animare singole aree dell'immagine, ad esempio il fumo di una locomotiva. La creazione di video e animazioni stilizzati può assumere lo stile grafico di un'immagine e creare immagini in movimento basate su prompt in quello stile. Infine, è possibile modificare i contenuti dei video esistenti: protezione, abbigliamento, superfici e strutture.

Google Lumiere – Modello AI con architettura “Space-Time U-Net”.

Non farò nemmeno finta di capire come funzionano intelligenze artificiali così complesse. Sia nella pagina di presentazione di Google (su GitHub) così come nel documento di ricerca associato (su arxiv.org), si parla però di un'architettura “Space-Time U-Net”, in breve STUNet. Se volete saperne di più potete visitare le fonti citate.

Lumiere si basa su un modello di diffusione, che viene utilizzato per il down e up-sampling spaziale e temporale, che alla fine crea video a bassa risoluzione che includono tutte le singole immagini. Questo ha lo scopo di differenziare l'intelligenza artificiale di Google dai modelli che creano due fotogrammi chiave separati e quindi cercano di colmare il divario tra loro - e forse non riescono a produrre un video dall'aspetto realistico in questo modo.

Crea nuovi video da comandi di testo

Google Lumiere può eseguire varie attività. La cosa più impressionante è probabilmente la creazione di video da semplici comandi di testo, i cosiddetti prompt. Questo può essere creato solo con brevi descrizioni della scena richiesta. Tuttavia, i risultati possono variare notevolmente a seconda del comando di testo.

Cambia lo stile e le strutture di un video

Anche i video esistenti, come quelli che hai registrato tu stesso, possono essere pesantemente modificati. Il contenuto dell'immagine (persone, animali, oggetti, ecc.) può essere costruito con blocchi di legno o mattoncini Lego, piegato di carta utilizzando origami o assemblato con fiori. I movimenti iniziali sono ampiamente adottati.

Crea video da immagini

Se dai all'intelligenza artificiale Lumiere una singola immagine e descrivi la scena desiderata con un breve messaggio, può creare un video da essa. Che si tratti di un'auto che guida lungo una spiaggia, di una giraffa che mangia l'erba o di una barca a vela che naviga su un lago, ci sono molti esempi di come funziona l'intelligenza artificiale. I risultati non sono proprio perfetti e (ancora) riconoscibili come un prodotto AI.

Animare singole sezioni di immagini

Se vuoi che il fuoco tremola nella foto di un falò, Google Lumiere può far sì che ciò accada. Inoltre, è possibile simulare i movimenti di una farfalla semplicemente utilizzando una foto dell'animale. Come già accennato all'inizio, questo funziona anche con il fumo di una locomotiva. E l'acqua di un lago viene rappresentata anche nello spettacolo Lumiere; dopo l'elaborazione dell'intelligenza artificiale, crea onde.

Espandi il video o sostituisci le aree mancanti

Se durante la registrazione di un video c'è un oggetto disturbante in primo piano o se la sezione dell'immagine è stata selezionata in modo errato, con Google Lumiere questo non dovrebbe più essere un problema. Grazie all'analisi del materiale video esistente, è possibile calcolare il contenuto dell'immagine mancante e integrarlo per adattarlo al video esistente: il cosiddetto inpainting.

Montaggio video con inserimento di nuovi oggetti o strutture

Mostra anche come modificare i file video esistenti con Lumiere. Ad esempio, l'abito di una donna veniva segnato e poi prontamente ridefinito. Un abito verde e bianco con maniche veniva talvolta trasformato in un abito dorato, a volte in un abito nero, a volte in un abito a strisce bianche e rosse, inclusa la rimozione delle maniche. In altri esempi, gli uccelli venivano dotati di corone, occhiali da sole, sciarpe, accappatoi e simili.

Creazione stilizzata di contenuti immagine e video

Come già accennato, le immagini possono essere utilizzate per specificare un determinato stile per le immagini o i video da creare. Molto è possibile, dalla grafica pixel monocromatica agli adesivi colorati fino ai modelli 3D dorati lucenti. Quindi con Google Lumiere potresti sostanzialmente adottare diversi stili artistici, design di film o videogiochi e altro ancora per le tue idee.

Opportunità creative e rischi deepfake dell’intelligenza artificiale generativa

Come ogni intelligenza artificiale generativa, che si tratti di creazione di testo, immagini, audio o video, Google Lumiere offre non solo opportunità creative ma anche rischi sociali, politici ed economici. Il rischio che i singoli strumenti vengano utilizzati in modo improprio per diffondere disinformazione e/o per scopi criminali non è solo teorico. È evidente da anni in vari esempi di deepfake.

Infine, la presentazione di Lumiere collegata sopra dice anche: "... crediamo che sia fondamentale sviluppare e utilizzare strumenti per rilevare bias e usi dannosi al fine di garantire un uso sicuro ed equo." Ma questa visione da sola non sarà di alcuna utilità. Resta da vedere se Google Lumiere, OpenAI Sora ecc. saranno strumenti sicuri.

Ti è piaciuto l'articolo e le istruzioni sul blog ti hanno aiutato? Allora sarei felice se tu il blog tramite un'iscrizione stabile sosterrebbe.

Scrivi un commento

Il tuo indirizzo e-mail non verrà pubblicato. I campi obbligatori sono contrassegnati con * segnato

Nel blog di Sir Apfelot troverai consigli, istruzioni e recensioni sui prodotti Apple come iPhone, iPad, Apple Watch, AirPods, iMac, Mac Pro, Mac Mini e Mac Studio.

Speciali