Midjourney : une nouvelle IA pour créer de la 3D et de la vidéo
Midjourney annonce une nouvelle version de l’IA pour créer de la 3D, de la vidéo et un Midjourney en temps réel.
En les combinant tous, Midjourney annonce une simulation de monde. L’objectif est de construire chacune de ces trois fonctions choses séparément, puis de les réunir toutes ensemble. L’objectif est
Selon la société, les gens y créeront des jeux vidéo ou encore des films, mais l’objectif est de construire un simulateur de monde ouvert.
Il s’agit d’une étape importante pour Midjourney, avec l’arrivée de Sora d’OpenAI, la concurrence sur la création de vidéo va devenir un point crucial pour les générateurs d’images. Afin de produire des vidéos, ces outils ont besoin d’acquérir une conception 3D des images générées, afin de faire pivoter les modèles et d’offrir différentes vues des sujets.
Les évolutions Midjourney vers la 3D et la vidéo
Depuis le lancement de la première version bêta ouverte, de nombreuses mises à jour ont été publiées. La plus récente, baptisée V6 date de décembre 2023, est particulièrement remarquable pour le réalisme des images qu’elle produit et sa capacité à interpréter les instructions textuelles avec précision.
Mi-mars 2024, une nouvelle fonctionnalité innovante a été dévoilée : « Character Reference« . Cette fonctionnalité permet de répliquer des personnages pour les réutiliser dans différentes images, situations ou tenues vestimentaires. Dans une certaine mesure, c’est une étape vers la création de vidéo et de modèle 3D. L’objectif de « Character Reference » est de pouvoir créer un même personnage sous des angles, expressions et contexte différents.
Les futures fonctionnalités pour créer de la 3D, de la vidéo et un Midjourney en temps réel ont été divulguées lors des récentes « heures de bureau » sur Discord. Pendant cette sessions, l’entreprise répondait aux questions des utilisateurs sur l’avenir de la plateforme.
Midjourney développe des fonctionnalités indépendantes pour atteindre un outil de création de monde 3D
David Holtz exprime son engagement en déclarant : « Nous cherchons vraiment à réaliser une simulation de monde. Nous développons Midjourney pour la 3D, la vidéo et le temps réel, et les progrès sont vraiment très rapides ».
Son objectif est de progresser dans le développement de ces trois aspects de manière autonome, puis de trouver des moyens de les intégrer pour créer une simulation de monde.
Ce nouveau projet s’inscrit également dans la lignée de Leap Motion, entreprise spécialisée dans la fabrication de capteurs pour le suivi des mouvements des mains et des doigts en réalité virtuelle. Leap Motion est établi à San Francisco et dirigé également par l’entrepreneur David Holtz.
Midjourney vers un outil IA pour créer des mondes virtuels
Des spéculations circulaient depuis un certain temps sur l’expansion des activités de Midjourney au-delà des simples images, mais cette annonce semble indiquer que les nouveaux développements seront centrés sur la création d’un monde virtuel, avec comme premières étapes la création de modèles 3D et de vidéo.
Bien que la nature exacte de ces développements ne soit pas totalement claire, la société envisage la création d’un environnement virtuel où les utilisateurs pourraient concevoir des jeux vidéo ou réaliser des films – un « bac à sable open world ».
La fondation de Midjourney remonte à 2022, lorsque David Holz l’a lancée. Jusqu’à présent, Midjourney est resté fermement ancré sur Discord comme principal moyen d’interaction et de création d’images, bien que certains utilisateurs puissent accéder à l’interface web.
Midjourney V7 et une première étape vers les modèles 3D
Le développement de la septième version du modèle d’image de Midjourney est déjà en cours, et Holz a informé les utilisateurs sur Discord que la génération en 3D pourrait précéder la vidéo dans le processus de développement.
La décision de se concentrer sur les mondes en 3D semble logique, étant donné le parcours antérieur de Holtz avec Leap Motion, une entreprise spécialisée dans le suivi des mouvements des mains et des doigts en réalité virtuelle.
Holz a déclaré sur Discord que l’objectif principal est de parvenir à une simulation de monde en construisant des modèles 3D, vidéo et la capacité de généré des images en temps réel de Midjourney.
Ces efforts visent à créer un environnement de type bac à sable où les utilisateurs pourront développer des jeux vidéo ou réaliser des films, tout en intégrant ces trois éléments de manière harmonieuse.
Les impacts sur l’interface utilisateurs pour créer des mondes 3D
Il semble que l’objectif principal soit de fournir une nouvelle méthode de création de contenu, permettant notamment la génération d’environnements virtuels complets pour la production de films de science-fiction, sans recourir à des outils VFX coûteux.
La vision du « bac à sable » de Holtz pour Midjourney fait penser dans une certaine mesure à certaines propositions de Roblox et de son interface de développement. Roblox a récemment dévoilé de nouveaux générateurs de textures et d’avatars, avec des plans futurs pour permettre à l’IA de générer des environnements entiers à partir de simples commandes textuelles.
L’ajout de ces nouvelles fonctionnalités de modèles 3D et de vidéo laisse penser que l’interface de Midjourney devrait considérablement évoluée. Toutefois, il est possible qu’il s’agisse d’un nouvel outil avec une interface plus riche afin de gérer les aspects 3D.
Holz a également mentionné lors des « heures de bureau » que la version v7 représenterait un progrès plus significatif que la transition de la version 5 à la version 6.
