Nvidia DIB-R : une IA crée des modèles 3D à partir d’images 2D

Les équipes de Nvidia ont développé une IA DIB-R capable de créer un modèle 3D à partir d’images 2D. Plus précisément, le processus produit le modèle 3D avec une texture et un éclairage.

Appelée «DIB-R», l’IA prend en entrée une photo d’un objet 2D, une image d’un oiseau par exemple. Ensuite, l’IA analyse l’image 2D pour fournir un objet 3D, ce qui comprend le modèle 3D, la texture et l’éclairage.

Les chercheurs présenteront leur modèle d’IA cette semaine lors de la conférence annuelle sur les systèmes de traitement de l’information neurale (NeurIPS), à Vancouver.

Habituellement dans l’infographie traditionnelle, un pipeline, une chaîne de traitement, transforme un modèle 3D sur un écran 2D. Alors que cette IA produit le traitement inverse. Le premier champ d’application qui nous vient à l’esprit est bien sûr la création d’objets 3D à partir d’images 2D réelles. Ce qui pourra faire gagner un temps précieux aux professionnels de l’infographie 3D.

DIB-R, le premier outil pour prédire des objets 3D à partir d’images 2D

Mais il y a aussi d’autres applications, en visualisant en trois dimensions les objets présents dans une image 2D, c’est aussi une manière d’effectuer un meilleur suivi des objets. Plus précisément, cela peut permettre au robot de mieux analyser leur environnement, afin de faciliter son interaction avec les objets. Comme champ d’application, il y a aussi la conduite autonome qui pourrait bénéficier de cette IA.

« C’est la première fois que vous pouvez prendre à peu près n’importe quelle image 2D et prédire les propriétés 3D pertinentes», explique Jun Gao, membre d’une équipe de chercheurs qui a collaboré sur DIB-R.

DIB-R peut transformer des images 2D d’animaux disparus depuis longtemps comme un Tyrannosaurus rex ou un oiseau Dodo joufflu en une image 3D réaliste en moins d’une seconde.

La recherche Nvidia sur l’analyse 3D avec le Deep Learning

DIB-R se base sur le framework d’apprentissage automatique PyTorch. Cette IA s’intègre à un projet plus large de Nvidiai, Kaolin, une bibliothèque PyTorch 3D deep learning.

Construit sur PyTorch, un framework d’apprentissage automatique, DIB-R est inclus dans le cadre de Kaolin. Kaolin, c’est la toute nouvelle bibliothèque PyTorch 3D deep learning de NVIDIA. Son objectif est d’accélérer la recherche 3D avec le deep learning.

Pour terminer et si vous souhaitez aller plus loin sur ce sujet, vous trouverez avec ce lien un document complet et technique de Nvidia «Apprendre à prédire des objets 3D avec un rendu basé sur l’interpolation». L’équipe de recherche NVIDIA se compose de plus de 200 scientifiques à travers le monde, se concentrant sur des domaines tels que l’IA, la vision par ordinateur, les voitures autonomes, la robotique et les graphiques.

A lire aussi

• Nvidia DLSS : c’est quoi ? Améliorer l’image des jeux avec une RTX
• Image Sharpening Nvidia : améliorer les détails de l’image
• Google Photos Reconnaissance Faciale : comment l’activer ?
• RTX Broadcast Engine : Nvidia met de l’IA dans le streaming