NVIDIA et son GauGAN se mettent à la reconnaissance de texte

Avec le GauGAN, NVIDIA s’est essayé aux réseaux de neurones adversariaux. Son principe de base est issu de la théorie des jeux : chercher à faire se combattre deux réseaux de neurones l’un contre l’autre dans un match consistant pour une part à créer une image des plus réalistes possible, et, de l’autre, chercher à différencier les images générées des vraies images. En sortie, seul le générateur est utilisé, menant à des conceptions de paysages ou de visages certes inexistants, mais fortement réalistes.

Après un premier projet de recherche, les verts ont développé une application-jouet de démonstration, et même un logiciel dédié : NVIDIA Canvas. L’idée est, bien entendu, de vanter les technologies développées par la firme et, ainsi, promouvoir son matériel — nous pensons directement aux technologies de machine learning intégrées dans Photoshop ; cependant, le projet continue à se développer côté recherche expérimentale avec, dernièrement, l’ajout d’un moteur de compréhension de texte. Au lieu de se farcir la création d’une image de qualité MS Paint avant de la transformer en une quasi-photo par IA, il est désormais possible de décrire une scène textuellement et voir quasi instantanément son interprétation par le GauGAN.

 Le Comptoir a essayé, le résultat est étonnant !

Si le résultat est impressionnant en ce qui concerne les paysages, dès que les demandes deviennent plus urbaines ou figuratives, le réseau est complètement dans les choux. La notion de perspective n’est pas parfaitement retranscrite, tout comme la prise en compte de la gravité — chose particulièrement visible sur les générations de rivières. Reste que la prouesse demeure impressionnante. Combien de temps encore avant l’intégration dans un jeu vidéo façon No Man’s Sky revisité ?