Avec l'IA sauce NVIDIA, des photos se parent d'éléments 3D !

Habituellement, pour détecter des objets en trois dimensions, nos bidules utilisent plusieurs caméras (prenons par exemple feu le Kinect de Microsoft) ou demandent à l'utilisateur de bouger, comme c'est le cas pour certaines applications sur smartphone de scanner tridimensionnel.

Pourtant, une simple image 2D est porteuse d'informations quant à la structure des objets représentés dans l'espace, notamment via la présence des ombres et reflets. Au moyen d'un réseau de neurones, il est donc possible théoriquement de sélectionner ces informations pour reconstruire des modèles 3D en partant d'une image 2D. Ce théorique est passé pratique grâce à une équipe de recherche de chez NVIDIA, en partenariat avec l'université Washington de Saint-Louis, l'université Simon Fraser et l'entreprise hongkongaise SenseTime.

La méthode générale correspond bien à l'air du temps : trouver une structure du réseau plus favorable à l'apprentissage de la tâche souhaitée, passer une poignée de jours avec une Titan X pour entraîner le bouzin et hop, le tour est joué. Pour cette application précise, le réseau est constitué de trois parties : une première va chercher les surfaces planes et leur profondeur par rapport à la caméra, une seconde qui va raffiner les régions détectées afin de supprimer les artefacts et optimiser les bordures, et enfin une troisième passe à base de réseau convolutionnel qui s'occupe de compacter les différents objets 3D générés afin de retrouver une structure quasi identique à l'image de base.

Les résultats sont assez impressionnants : certes, quelques objets ne sont pas détectés, menant à des trous dans l'image reconstituée, et les frontières entres les différentes régions planes manquent encore de précision, mais les scènes sont parfaitement reconnaissables. Bientôt des applications pour le scanning d'objet à bas coût ? (Source : NVIDIA)