Comment fonctionne l'application Wombo Dream ?

Comment fonctionne l'application Wombo Dream ?

J'ai eu l'application il y a quelques jours Rêve Wombo choisi car il permet de créer des œuvres d'art à l'aide de l'intelligence artificielle. Vous pouvez découvrir comment utiliser l'application ici dans l'article sur Wombo IA lis. Dans l'article de blog actuel, cependant, j'aimerais expliquer comment fonctionne la technologie derrière cette application.

Peindre avec une IA et l'application Wombo AI - cela peut être aussi simple que cela.
Peindre avec une IA et l'application Wombo AI - cela peut être aussi simple que cela.

VQGAN + CLIP – Algorithmes pour le machine learning en interaction

L'application de Wombo Dream - comme de nombreuses autres applications qui créent de l'art génératif - est essentiellement basée sur deux réseaux de neurones artificiels qui fonctionnent ensemble pour créer les images. Les noms de ces deux réseaux sont VQGAN et CLIP.

VQGAN est un réseau de neurones utilisé pour générer des images qui ressemblent à d'autres images. CLIP, d'autre part, est un réseau neuronal formé pour déterminer dans quelle mesure une description textuelle correspond à une image.

CLIP fournit des commentaires à VQGAN sur la meilleure façon de faire correspondre l'image à l'invite de texte. VQGAN ajuste l'image en conséquence et la renvoie à CLIP pour vérifier si elle correspond bien au texte. Ce processus est répété plusieurs centaines de fois, ce qui donne les images générées par ki.

Les deux algorithmes ont été développés par Ryan Murdock et Catherine Crowson combinés qui sont enthousiastes à propos de l'art généré par le ki.

Je voudrais utiliser un exemple pour montrer comment fonctionne la procédure. L'entrée de texte pour le projet suivant était "portail du Nether rendu dans Cinema 4D". Au total, 250 itérations ont été exécutées et j'ai enregistré une capture d'écran toutes les 50 exécutions. Voici le résultat :

Image 1 : Tout commence toujours par une "graine" plutôt discrète - une zone colorée avec quelques structures légères..
Image 1 : Tout commence toujours par une "graine" plutôt discrète - une zone colorée avec quelques structures légères.

 

Image 2 : Après 50 itérations, il s'est passé beaucoup de choses et vous pouvez voir une sorte de portail du Nether de Minecraft.
Image 2 : Après 50 itérations, il s'est passé beaucoup de choses et vous pouvez voir une sorte de portail du Nether de Minecraft.

 

Image 3 : Après les 100 premières itérations, les structures les plus grossières, les couleurs et le motif principal sont en principe déjà formés.
Image 3 : Après les 100 premières itérations, les structures les plus grossières, les couleurs et le motif principal sont en principe déjà formés.

 

Image 4 : Dans les derniers calculs, l'accent est mis principalement sur les subtilités.
Image 4 : Dans les derniers calculs, l'accent est mis principalement sur les subtilités.

 

Image 5 : Nous avons maintenant parcouru 200 itérations et les flammes lumineuses en haut du portail font toujours quelque chose.
Image 5 : Nous avons maintenant parcouru 200 itérations et les flammes lumineuses en haut du portail font toujours quelque chose.

 

Figure 6 : Le résultat est là après 250 itérations.
Figure 6 : Le résultat est là après 250 itérations. Fondamentalement, une jolie œuvre d'art pour les fans de Minecraft.

Vous pouvez également exécuter plus d'itérations, mais pour les petites résolutions, 250 est une bonne valeur. En pratique, les nombres entre 500 et 700 se sont avérés utiles, car plus d'itérations signifient également plus de temps de calcul, mais finalement seuls quelques détails sont calculés qui sont à peine visibles.

Il y a des gens qui font jusqu'à 2000 itérations, mais je pense que c'est plus un cas particulier, plutôt exagéré pour des artistes amateurs comme moi.

Créez de l'art IA sans compétences en programmation

L'application Wombo Dream offre désormais la possibilité d'utiliser cette combinaison des deux algorithmes VQGAN et CLIP sans avoir aucune connaissance en programmation. La saisie de texte et la sélection du style sont transmises à la programmation et l'IA crée alors l'image correspondante.

En plus de Wombo Dream, il existe d'autres applications et options pour créer de l'art avec l'IA et les réseaux VQGAN et CLIP. J'ai créé une petite liste (certainement incomplète) pour vous ici :

Mon conseil : Google Colab Pro

Mon choix actuel pour générer de l'art basé sur l'IA via la saisie de texte est le bloc-notes Google Colab. Il est fondamentalement gratuit et vous pouvez toujours comprendre rapidement comment cela fonctionne. Si vous ne dépensez pas 10 euros par mois en Google Colab Pro investi, il crée également les images 6x plus rapidement que dans le modèle gratuit.

La vitesse est importante, surtout au début, car en tant que nouveau venu, vous ne voulez pas attendre indéfiniment qu'une image soit générée. Et une génération rapide de «l'œuvre d'art» finie aide également à expérimenter les paramètres et les instructions de l'IA.

-
Avez-vous aimé l'article et les instructions sur le blog vous ont-elles aidé? Alors je serais heureux si vous le blog via une adhésion stable ou chez Patreon soutiendrait.

1 commentaire sur "Comment fonctionne l'application Wombo Dream ?"

Ecrire un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont marqués avec un * marqué

Dans le blog Sir Apfelot, vous trouverez des conseils, des instructions et des critiques sur les produits Apple tels que l'iPhone, l'iPad, l'Apple Watch, les AirPods, l'iMac, le Mac Pro, le Mac Mini et le Mac Studio.

Spécialités