La 5e du DLSS : NVIDIA joue la partition, la direction artistique garde la baguette

Tribune — la toile gaming + tech ne parle plus que de ça depuis quelques jours. Et ne parlons pas des vidéos sur YouTube qui fleurissent, si possible avec le TITRE EN CAPS, histoire de surfer sur la hype et en tirer quelques bénéfices. Quoique, pas tout à fait, il semble que les recherches sur Mimi Mathy et Patrick Bruel aient bon vent également, si l'on s'en réfère aux trendings de la veille ; on a bien l'internet qu'on mérite. En l'occurrence, ce dernier fait bien les affaires de NVIDIA qui se paye une campagne de communication XXL et pour pas un radis. Pour le coup, on va vous le faire un peu à l'envers sur ce billet. Comme le dirait Rémi : à bas les conventions !

Actarus, retrolaser !

Faisons un petit retour en arrière, histoire de rafraîchir vos ROMs cérébrales. La notion de PBR (Physically Based Rendering) que nous allons aborder dans ce billet est une méthode du calcul de l'apparence des surfaces dans laquelle la façon dont un matériau renvoie la lumière est décrite par un modèle qui respecte les lois de l'optique plutôt que par des réglages arbitraires. En gros, c'est une règle qui définit comment une surface réagit à la lumière, qui décrit un matériau; là où ray tracing, lui, transporte la lumière.

Le PBR en .gif, ça vaut un long discours

À la base, c'est la BRDF (Bidirectional Reflectance Distribution Function) qui est la fonction mathématique décrivant comment une surface renvoie la lumière, formalisée en 1965, soit avant même qu'on sache afficher autre chose que des caractères verts. Le débat est tranché scientifiquement au début des années 2000 : le MIT mesure une centaine de matériaux réels au gonioréflectomètre  (oui, ça existe, et non, ce n'est pas un instrument de torture) et le verdict tombe en 2005 : les modèles physiques collent aux mesures. Le cinéma y passera en premier. Le cours SIGGRAPH 2010 « Physically Based Shading » acte la naissance du mouvement, et Disney enfonce le clou en 2012 avec son Principled BRDF, étrenné sur Les Mondes de Ralph : un modèle unique piloté par une dizaine de curseurs compréhensibles par un humain normal - baseColor, metallic, roughness. L'artiste n'a plus besoin d'un doctorat en optique pour produire un cuir crédible : il gère trois potars.

La bascule du côté des jeux vidéo se fait en 2014 via deux moteurs majeurs. Epic publie sa recette PBR complète et ouvre l'Unreal Engine 4 à tous pour 19$ par mois ; DICE répond avec « Moving Frostbite to PBR », 120 pages de bible technique offertes à toute l'industrie, caméra physique et lumières en vraies unités photométriques comprises.

La standardisation, elle, ne viendra pas des papiers de recherche mais de la chaîne d'outils. Retenez bien le mécanisme, il va resservir plus bas. Substance Painter (2014) fait peindre les artistes directement en metallic/roughness, Quixel scanne le monde réel et en tire Megascans (2016), et glTF 2.0 (2017) grave le modèle Disney/Epic dans un format d'échange ouvert. À la fin de la décennie, le même cuir se promène de Blender à Unreal en passant par Unity sans perdre une miette de sa rugosité.

Pourquoi le PBR a-t-i l été adopté avant le ray tracing ? Pour des raisons de coût machine. Mais ce dernier ferme la boucle : une réflexion ray tracée, ce n'est pas qu'un « reflet dans une flaque », c'est la BRDF évaluée avec la vraie radiance incidente au lieu d'un cubemap. Historiquement, la raie tracée est formulée en 1968 par IBM par un lancer simple de rayons depuis l'œil ; la récursivité des rayons, c'est à dire la réflexion, la réfaction et l'ombrage n'arrivent qu'un 1980 pour aboutir en 1986 avec l'équation de Kajiya, le path tracing est né.

L_o = L_e + ∫ f · L_i · cosθ dω

À vos souhaits !

Cette fidélité de reproduction fera les belles heures de Commodore qui s'en sert pour promouvoir l'Amiga — attention, la vidéo suivante risque donner quelques rides à certain d'entre vous, adeptes des sphères chromées et des damiers — avant de s'exporter sur le PC à la fois plus puissant, et plus modulaire :

Le fameux Juggler d'Eric Graham en 1986 pose les jalons du ray tracing chez Mr tout le monde, mais demande alors 24h de calculs.... pour une animation de 1 seconde sur 24 images en 320x200 ! ↑

Le ray tracing en temps réel sur Pentium 100 au milieu des années 90... Ou les heures glorieuses de la scène demomaking ↓

Mais Monique, pourquoi diable évoquer PBR et ray tracing ?

Question légitime ! Ce billet n'a ni queue ni tête — on s'excuse auprès de toute Monique lisant ce billet tout de même. Pourquoi donc, tout simplement parce que la course au rendu photoréaliste, elle date quasiment de l'ordinateur personnel, du rendu graphique qui va avec et qui évolue depuis son introduction dans les foyers. Et cette véracité d'affichage, le point le plus crucial pour parvenir au Graal de la crédibilité visuelle : c'est l'éclairage !

La lumière, c'est le nerf de la guerre (et le gouffre à FLOPS)

Après le texturage, après la géométrie, après la physique, c'est le dernier gros GAP avant le rendu crédiblement crédible; on parle bien de crédibilité, et pas nécessairement de réalité. Cette notion est importante car les deux termes diffèrent de par la calibration du cerveau humain qui, depuis notre naissance, n'est faite que sur un seul set de données : notre monde, et les règles qui s'y appliquent. Une ombre est plus douce à mesure qu'elle est éloignée de l'objet dont elle en est la source, qu'un objet posé au sol a généralement une zone de contact sombre ou encore qu'un reflet sur un sol mouillé s'allonge vers le spectateur. Si ces règles ne sont pas respectées : le cerveau analyse, traite l'anomalie, et vous décroche de l'émotion et de la lecture de l'expérience. C'est pour ça que c'est la lumière, et pas le nombre de polygones, qui prime : un visage de 100k triangles mal éclairé n'est jamais crédible.

Mais cette cohérence perceptive, c'est aussi la plus chère sur le plan du besoin en calcul, surtout à l'heure où l'on souhaite que le compteur de FPS explose.

40 piges de sphère à damier

Crédibilité visuelle

La source d'une partie débat du moment clame haut et fort « on se fiche du photoréalisme ! » : c'est follement faux, limite candide, ou sans doute absurde, puisque c'est exactement ce que l'on cherche à reproduire depuis des décennies. Là où l'on peut recouper ladite critique, c'est que cela ne doit pas se faire aux dépens de l'expérience qu'il est censé apporter au joueur. Ce que ces braves gens veulent dire, en vrai, c'est qu'on ne veut pas le payer au prix du game design. Et là-dessus, on signe des deux mains.

GTA VI suscite l'attente que vous connaissez précisément pour son empreinte graphique en sus de la prouesse technique qu'elle représente sur des plateformes relativement modestes. Le ReShade, et le modding de manière générale avant lui, en sont sans doute de bons ambassadeurs sur la constance de l'intérêt porté à cette recherche du réalisme visuel — et parfois des choix discutables, ou de l'incompétence selon l'axe d'observation, des studios. On pourrait dresser une liste longue comme le chi... bref, longue.

Battlefield 3 : le titre qui a marqué les esprits il y a 15 ans (!) avec l'usage intensif du deffered shading du Frostbite 2, autorisant un énorme cheptel de sources lumineuses dynamiques simultanées, profite assez franchement d'une surcouche de DLSS 5

Proposer ≠ imposer

Ça fait trois ans que ses réseaux de neurones s'invitent dans le pipeline, mais jusqu'ici, en sous-traitants dociles. Les rendus neuronaux antérieurs, neural materials et neural shaders en tête, ne sortent pas du cadre du PBR : ils ne font qu'en modifier l'implantation. Le réseau de neurones propose une compression, une approximation fonctionnelle d'une BRDF donnée : il n'invente rien. Et s'il hallucine, c'est du domaine du bug. La rupture avec DLSS n°5 porte précisément sur ce résultat déterministe visant un référent existant et vérifiable, d'où le modèle propose une apparence, un à priori extérieur à la scène.

Mais cela reste à nuancer : proposer ne veut pas dire imposer, d'autant que la proposition reste entièrement dans la main du créateur qui dispose de toute la granularité pour la cadrer avec sa vision initiale, et montre bien que NVIDIA a bien anticipé le problème. Le référent n'a pas disparu, il a changé de mains : il est passé du renderer à l'humain qui valide. C'est exactement le régime du cinéma avec un étalonneur.

D'autant qu'un rendu réaliste n'est en rien incompatible avec une direction artistique assumée, et ce qui est certain c'est que l'intelligence artificielle propose de franchir une sacrée étape dans le rendu temps réel dont on vous parlait plus haut, qu'on avait pourtant du mal à imaginer il y a encore moins d'une décennie lors de l'introduction du DXR et de la génération de GPU Turing.

Même sur un REDengine jouissant d'un path tracing complet où le DLSS 5 comble moins le déficit d'éclairage, les apports au delà du PBR (peau, cheveux, tissus...) sont spectaculaires... ↑

...mais la recherche du photoréalisme qui occasionne des ReShade monétisés ont précédé déjà NVIDIA avec des tonemapping et autres sharpening agressifs. Et les deux cumulés ?

Ce qui nous amène à la grande critique que l'on retrouve ci et là :

Plus d'outils signifie-il une création [artistique] en danger ?

Vous avez pu le (re)voir plus haut, la contrainte technique n'a jamais tué la direction artistique. C'est certain que pour un rendu sur un Mario Legend Galaxy Bros Sunshine Wonder+, cette technologie sera hors sujet. Nettement moins sur un Sea Of Thieves, certes embarquant des normal maps douces et autres textures peintes proche du cell shading, mais dont le rendu reste basé sur le PBR. Sur Jusant, bien qu'utilisant Lumen pour la lumière et Nanite pour la roche, c'est la poésie des aplats qui est plus de mise que le photoréalisme ; ou encore sur Mirror's Edge ou le lightmap peut porter toute l'image quand la géométrie se veut, par design, simpliste.

Vous le comprenez bien : le curseur de la direction artistique — n'oubliez pas de sortir ce terme à la prochaine machine à café, trending effect assuré — est, et doit être un choix avant d'être une contrainte technique.

C'est sans doute la plus grosse inquiétude, voire une injonction de rejet immédiat que l'on peut lire au travers des réseaux sociaux, qui rayonnent plus par les réactions urticantes qu'ils contiennent, que par la présence d'interventions posées : celle de ne trouver dans un futur proche que des « créations aseptisées se ressemblant toutes ». On aimerait presque la cautionner, ne serait-ce que pour tacler l'avancée insolente de NVIDIA sur le segment du GPU + IA.

S'il est vrai que la 5e symphonie du DLSS apporte une brique de génération et ne se contente plus de reconstruction, cette première se base — en gros, hein — d'un côté sur les vecteurs de mouvements du moteur 3D et un état temporel reporté d'une frame à l'autre, et de l'autre par un apprentissage de la sémantique de la scène et des conditions d'éclairage, le tout calibré par une couche de contrôles : intensité, étalonnage colorimétrique et masquage. En pratique donc, le DLSS 5 injecte des à priori appris sur le monde réel, suite d'une logique du PBR avec un modèle entraîné sur du photoréel qui tire nécessairement vers du photoréel. Cela ne veut pas autant dire que le PBR impose ledit photoréalisme, le DLSS 5, en revanche et en l'état, si. Rien n'empêche cependant des sets d'apprentissages futurs avec des objectifs différents que de calquer le monde réel, mais aujourd'hui, dans un contexte ou l'innovation est fortement ralentie et avec un marché problématique ne poussant pas ou peu aux renouvellements hardware, c'est un axe extrêmement vendeur sur lequel communique NVIDIA. Et vu le barouf, c'est une comm largement gagnante.

Doté d'un rendu rasterizé parmi les plus léché sur sa génération, sur Red Dead Redemption 2 la lumière indirecte injectée sublime la DA de Rockstar ↑

Assetto Corsa Rally : l'éclairage supplémentaire rendu via DLSS 5 apporte des nuances crédibilisant encore plus une scène déjà photo-travaillée ↓

Concentration des moteurs de rendu, IA → réduction des coûts d'accès aux technologies. Et le talent dans tout ça ?

Moins de précalcul, plus de dynamisme : c'est là bien des leviers que permettent ces outils, tout comme le permet un Unreal Engine souvent visé par des critiques similaires. En laissant les curseurs de ces outils par défaut, les studios qui demain feront artistiquement de la merde sont à priori les mêmes qui le font déjà aujourd'hui.

Les autres ? Ils auront une (sacrée) boite à outils supplémentaire leur permettant de passer moins de temps à contourner les limitations techniques du rendu... au profit du reste. Game design, experience, immersion. La question à se poser est donc plutôt de savoir si les studios sauront quoi faire du temps qu'il leur est rendu (à moins que les éditeurs n'en profitent pour dégraisser davantage leurs effectifs, en prenant justement ce gain de temps de production comme prétexte, NDRB). Exactement comme les agents IA qui s'installent rapidement et surement dans nos quotidiens. Point inquiétant néanmoins, il enfonce encore davantage la distance de NV face à la concurrence, qui sans doute proposera des solutions équivalentes, mais en retard et moins abouties. Concurrence dont le garde-fou naturel que représente les consoles voit peu à peu sa propre crédibilité (technique et de marché, cette fois) s'effriter.

Quant à savoir si ces outils limitent les directions artistiques, on a tendance à penser que c'est tout le contraire, puisqu'ils ouvrent au contraire le champ des possibles et font baisser les coûts pour y accéder. Dans ce cas précis du DLSS 5, qui est encore en phase bêta, faut-il le rappeler, et même si tous les exemples qui sont repris en vidéo dans ce papier ne sont pas des intégrations officielles, c'est un outil incroyable offrant un potentiel de banger, à la condition de s'en servir correctement.

Alors une petite question, juste pour vous embrouiller : on n’a jamais autant eu d'offre sur les plateformes de distribution qui dégeulent de propositions, en particulier sur STEAM. Pourtant le nombre de DA mémorables ne semble pas être plus important qu'il y a dix ans. Paradoxe, ou réalité de marché ?