NVIDIA et Ubisoft souhaitent rendre les PNJ des jeux vidéo intelligents

Alors que certains acteurs du secteur s’évertuent à nous faire miroiter un monde merveilleux gouverné par une intelligence artificielle omnisciente, capable de se substituer au génie humain dans quasiment tous les domaines, il y a, paradoxalement, un secteur où nous avons plutôt le sentiment d’une régression que d’un perfectionnement : celui du comportement des PNJ dans les jeux vidéo.

Pour s’en convaincre, pas besoin de chercher très loin. Il suffit de lancer Starfield, un jeu à gros budget sorti en 2023. D'y admirer des PNJ totalement abrutis, qui arborent une palette d’expressions faciales calquée sur celle de Jean Reno en déblatérant des banalités avec emphase ; ses ennemis incapables de se mettre à couvert, qui mériteraient d’errer directement avec de grosses cibles lumineuses légendées « tue-moi, tue-moi ! » et dont les comportements erratiques estompent, à en croire de nombreux retours, tout plaisir de jeu. Pour ne pas accabler Bethesda, Starfield n’est pas un exemple isolé. Citons aussi Cyberpunk 2077, entre autres, dont les errements des PNJ ont sûrement généré des milliers de vidéos YouTube. Clairement, au regard d’un titre comme F.E.A.R., pourtant bien plus ancien, les PNJ de nos jeux modernes semblent atteints de sénilité. Heureusement, l'IA va peut-être les sauver.

Des PNJ IA bientôt plus intéressants que ses amis ?

En effet, l’IA pourrait réinjecter quelques neurones aux PNJ décérébrés. AMD et NVIDIA en sont en tout cas convaincues et projettent d'y recourir dans les jeux vidéo depuis quelque temps déjà. Début 2023, David Wang et Rick Bergman d’AMD exposaient ainsi, à propos de la prochaine architecture RDNA 4, la volonté d’intégrer davantage d’accélérateurs IA, notamment pour administrer le comportement de PNJ. Chez NVIDIA, la démarche a déjà débouché sur du concret, avec de nombreux outils ACE (Avatar Cloud Engine) - pris en charge dans le nuage ou directement en local. ACE for Games intègre une IA conversationnelle ; NVIDIA Audio2Face régit les expressions faciales des protagonistes en fonction de leurs paroles ; NVIDIA Riva administre la la synthèse vocale.

Où en sommes-nous désormais ? Vous allez le découvrir ci-dessous. Dans le cadre de la GDC 2024, l’entreprise a présenté les fruits de son partenariat avec Ubisoft et Inworld AI.

La collaboration avec Inworld AI a débouché sur la démo Covert Protocol. Elle se focalise sur les interactions entre les personnages dans les jeux. Le moteur d'IA d'Inworld a intégré NVIDIA Riva pour la synthèse vocale et NVIDIA Audio2Face pour les expressions faciales. NVIDIA allègue que« le moteur d'IA d'Inworld adopte une approche multimodale rassemblant les systèmes de cognition, de perception et de comportement pour une narration immersive ».

Kylan Gibbs, PDG d'Inworld AI : « L'association des services NVIDIA ACE et de l'Inworld Engine permet aux développeurs de créer des personnages numériques qui peuvent conduire des récits dynamiques, ouvrant de nouvelles possibilités pour la façon dont les joueurs peuvent déchiffrer, déduire et jouer. »

Bloom et Iron, vos futurs potes ?

Avec Ubisoft, la collaboration porte sur des « PNJ NEO » capables de tenir des conversations grâce à l'IA générative.

Dans son communiqué de presse (en français), NVIDIA parle de « PNJ dynamiques », de « PNJ avancés conçus pour interagir en temps réel avec les joueurs, leur environnement et les autres personnages ». Ces PNJ du 21e siècle doivent ouvrir de « nouvelles possibilités de narration dynamique et émergente ».

Ubisoft a présenté les capacités de ses PNJ NEO à travers trois scénarios de démonstration distincts. Chaque scénario expose « différents aspects du comportement des PNJ, de la connaissance de l'environnement et du contexte, d'un éventail de réactions et d'animations en temps réel, ainsi que de la mémoire des conversations, de la collaboration et de la prise de décision stratégique ».

Pas de démo publiée sur YouTube ici ; les séquences ont été dévoilées à certains médias à huis clos. Nos confrères de TheVerge les ont toutefois partagées, tout en bloquant le partage du lien. Pour les consulter, rendez-vous donc directement sur le site.

Le fameux Bloom. Son style vestimentaire est particulier.

Le descriptif de NVIDIA explique que des membres d’Ubisoft ont accouché de deux PNJ NEO, appelés Bloom et Iron. Le moteur de personnages et la technologie LLM d'Inworld ont permis aux équipes du studio de leur créer « un historique complet, une base de connaissances et un style de conversation unique ». Là encore, le NVIDIA Audio2Face gère l'animation faciale en temps réel.

Guillemette Picard, SVP de la technologie de production d'Ubisoft, a commenté : « L'IA générative permettra aux joueurs de vivre des expériences encore inimaginables, avec des mondes plus intelligents, des personnages nuancés et des récits émergents et adaptatifs. »

Pour sa part, John Spitzer, vice-président des technologies de développement et de performance chez NVIDIA a ajouté : « L'IA est un outil puissant qui peut grandement améliorer l'expérience des joueurs en rendant les jeux plus dynamiques, immersifs et uniques. Nous sommes ravis de nous associer à Ubisoft pour exploiter NVIDIA ACE dans l'avancement des personnages numériques. »

Par ailleurs, si vous souhaitez converser avec des PNJ gérés par l’IA dès à présent, vous pouvez jeter un œil au jeu Vaudeville disponible sur Steam. Ses développeurs le définissent comme un « jeu expérimental basé sur les dernières technologies de l'IA pour générer des dialogues en temps réel ». En accès anticipé depuis juin 2023, il coûte actuellement 7,80 euros dans le cadre des soldes de printemps de la plateforme. Les évaluations globales restent néanmoins « moyennes ».