Nvidia lance le DLSS 2.3, ICAT et un nouveau pilote

Si vous avez l'habitude de nous lire, le DLSS ne doit pas vous être inconnu. Avant d'aborder la version lancée ce jour, débutons par un petit rappel historique du mode de fonctionnement de cette technologie proposée par NVIDIA depuis la génération de cartes graphiques Turing, lancée en 2018. Contrairement à un upscaling spatial classique, qui fait usage d'un algorithme dit "classique" pour estimer les pixels de la définition cible plus élevée, le DLSS va faire appelle à l'IA pour inférer lesdits pixels. Pour ce faire, le caméléon utilise une build d'un jeu fourni par les développeurs et procède au rendu de dizaines de milliers d'images avec une qualité visuelle parfaite ou presque (64 échantillons par pixel), collectant ainsi le résultat de sortie et les données d'entrée brutes (images en basse résolution et aliasées) qui vont pouvoir être utilisés lors de l'opération d'apprentissage (d'où le fameux Machine Learning) à venir.

Un réseau de neurones artificiels (de type auto-encodeur convolutif) est ensuite entraîné à obtenir cette qualité de sortie avec ces données d'entrée, au moyen de méthodes fortement matheuses (back propagation), ce qui lui permet "d'apprendre" les spécificités propres à ces images. Il résulte de cet apprentissage un DNN model (Deep Neural Network signifie "réseau de neurones profond") capable d'imiter le comportement observé sur l'échantillon utilisé lors de l'apprentissage, et ce pour un coût bien moindre que la technique originelle. Comment ? Par le biais des Tensor Cores, qui utilisent alors le DNN model sur l'image brute aliasée de définition plus faible, pour inférer en temps réel le rendu anti-aliasé à la définition d'affichage requise. L'inférence est friande des calculs en faible précision où les Tensors Cores excellent.

Voilà pour la théorie, mais les débuts furent laborieux, puisque la plupart des jeux utilisant au départ le DLSS, se sont vus affublés d'un flou très désagréable. Mais les verts ont persévéré, et une version 2.0 a revu en profondeur le fonctionnement en ajoutant la notion de Temporal Feedback, comme illustrée ci-dessous. Derrière cette dénomination se cache l'intégration des vecteurs de mouvement, aux données d'entrée collectées en basse résolution. Ceux-ci sont ensuite appliqués à la précédente image de sortie (haute qualité), afin d'estimer plus précisément quelle sera l'apparence de la prochaine. Cela permet de rendre des images plus nettes, tout en améliorant la stabilité d'une image à la suivante.

La version 2.0 de DLSS a également apporté une modification significative au niveau de l'auto-encodeur convolutif : ce dernier est à présent commun à tous les jeux (facilitant et accélérant ainsi son intégration au processus de création). Toutefois, il est toujours nécessaire de générer (via apprentissage profond ou Deep Learning dans la langue de Shakespeare) un DNN Model spécifique à chaque jeu, par le biais de ce réseau de neurones. À noter également que cette seconde itération du DLSS permet de choisir 3 niveaux de qualité différents, afin de laisser le choix à l'utilisateur de privilégier la performance ou la qualité. En pratique, il s'agit de faire varier la définition de rendu avant d'inférer les images qui seront affichées. La version 2.1 a apporté un 4ème niveau de détails et la version 2.2 lancée discrètement plus tôt dans l'année, est censée améliorer le phénomène de ghosting. Mais ce dernier restait encore trop présent dans certains jeux, c'est pourquoi les verts ont retravaillé encore leur technologie, en particulier au niveau des vecteurs de mouvements, afin de proposer une solution avec ce DLSS 2.3.

Le SDK de ce nouveau DLSS 2.3 est d'ores et déjà disponibles pour les développeurs, Doom Eternal et Cyberpunk en tirent déjà partie au sein des dernières versions qui vont être publiées sous peu. Les mises à jour pour d'autres jeux devraient suivre également, par le biais de pilotes ou patchs. Le caméléon insiste sur la supériorité visuelle de son DLSS par rapport à un upscaler spatial ne faisant pas appel à l'IA tel le FSR, ce que nous avons effectivement constaté dans plusieurs jeux proposant les 2 solutions. Selon les verts, les tests de performance entre les 2 solutions devraient tenir compte du différentiel visuel pour éviter de comparer des carottes et des choux. En gros, il faudrait positionner le FSR Ultra Qualité en face du DLSS Performance... Toutefois, les écarts visuels ne sont pas toujours si flagrants selon les jeux et le DLSS pas exempt non plus de certains défauts visuels. Il nous reste donc à évaluer par nos propres moyens ce que vaut réellement cette version 2.3, avant de statuer si oui ou non, elle améliore significativement le résultat des précédentes itérations. Pour ceux désireux d'en apprendre un peu plus, Nvidia propose une vidéo détaillant sa technologie et les nouveautés de la dernière version.

Nvidia rappelle également qu'il propose depuis 2019 son propre upscaling spatial couplé à un filtre de netteté au sein de ses pilotes (et GFE). Cette solution a accompagné le lancement des GTX 16 qui sont dépourvues de Tensor Cores et ne peuvent en conséquence tirer parti du DLSS. Pourquoi ce rappel ? À cause du FSR concurrent bien entendu, les verts souhaitant mettre en évidence que selon eux, ce dernier n'est qu'un "rattrapage" de leur propre upscaler spatial mais en aucun cas du DLSS. La solution d'AMD avait toutefois l'avantage de disposer d'un SDK open source permettant son implémentation directe au sein du jeu, et donc fonctionnelle avec tout type de hardware. Nvidia le propose à son tour en lui donnant un petit nom qui va bien, à savoir NIS pour Nvidia Image Scaling.

Quid des performances et de la qualité perçue ? Eh bien selon le caméléon, leur propre solution est équivalente voir supérieure dans ces 2 domaines à la concurrence, et fournit diverses copies d'écrans attestant la chose (cf. ci-dessous). Soyons clairs, il ne faut pas attendre autre chose de la part d'un des protagonistes que de mettre en avant sa propre solution, en choisissant pour cela les scènes et jeux favorables. Nous ne nous engagerons donc sur ce terrain qu'une fois que nous aurons procédé à nos propres tests, ces assertions doivent donc être prises avec du recul.   

Malgré tout, s'il faut bien reconnaitre une qualité à Nvidia, c'est de proposer des outils permettant aux testeurs, mais aussi aux utilisateurs de vérifier leurs propres dires. On pense ainsi à Frameview, mais aussi à Reflex Latency Analyser entre autres. Et un nouveau voit le jour, ICAT pour Image Comparison & Analysis Tool. Même les anglophobes ont dû saisir le sens, puisqu'il s'agit d'un outil de comparaison d'images, même si ce terme est légèrement restrictif. En pratique, c'est un logiciel de montage vidéo qui va permettre la comparaison parfaitement synchronisée de 2 à 4 séquences vidéos côte à côte (et possibilité de capturer des images parmi celles-ci bien entendu). Rien de nouveau sous le soleil pour les adeptes de Vegas Pro ou Da Vinci Resolve pour ne citer qu'eux, toutefois ICAT est gratuit et beaucoup plus simple d'emploi, car se limitant à cet usage. 

Pourquoi donc un outil vidéo ? Eh bien tout simplement parce qu'un certain nombre d'artefacts visuels, ne sont pas apparents avec une simple image, il faut impérativement une vidéo pour les appréhender. À noter également que les sources vidéos ne peuvent pas être acquises via Shadow Play, puisque ce dernier va capturer les images en amont de l'application des techniques d'upscaling. Il faut donc utiliser dans un premier temps une carte d'acquisition vidéo, Nvidia indiquant travailler sur une évolution de Shadow Play pour permettre une acquisition représentative de l'image affichée à l'écran lorsqu'un upscaler est utilisé. Pour finir, le caméléon propose un nouveau pilote pour profiter des nouveautés annoncées et optimisation dédiées à Battlefield 2042, dont vous retrouverez le lien ci-dessous.