Diantre ! le FSR d’AMD risque à son tour d’adopter l’IA

Nous vous en parlions dans le papier consacré au DirectSR, l’API de Microsoft qui ambitionne de simplifier l'impléntation du DLSS, FSR et XeSS dans les jeux DirectX : contrairement aux solutions concurrentes, le FidelityFX Super Resolution n’engage de l’intelligence artificielle dans aucune partie du pipeline, là où Intel et NVIDIA font la part belle aux DNN AI (Deep Neural Network). Mais AMD pourrait bientôt s’y mettre à son tour ; c’est du moins ce que suggèrent des propos tenus par Mark Papermaster, directeur technique de l'entreprise. Au cours d’une interview, il a sous-entendu qu’à l'avenir, AMD proposerait aussi une mise à l'échelle basée sur l'IA. Peut-être à partir du FSR 4 donc ; avec forcément des restrictions en matière de prise en charge matérielle.

DLSS vs FSR, deux approches opposées

Si l’IA est devenu le terme à la mode un peu fourre-tout, en matière d’upscaling, sa mise en œuvre est concrète depuis longtemps. Le DLSS l’exploite en effet depuis sa toute première version. Concrètement, la composante IA de la technologie de NVIDIA se situe à plusieurs échelons. Le premier est explicité par le nom même de la techno : Deep Learning Super Sampling. Les supercalculateurs de NVIDIA entraînent continuellement le modèle d’IA. Les utilisateurs bénéficient de ce perfectionnement au fil des pilotes Game Ready.

Pour effectuer une mise à l’échelle, initialement le DLSS échantillonne plusieurs images de résolution inférieure puis les reconstruit en qualité native. Pour y parvenir, l'algorithme exploite des données provenant des images antérieures. Depuis, la sortie du DLSS1, NVIDIA a ajouté d’autres fonctionnalités, à l’image du DLAA (Deep Learning pour l'anti-aliasing), qui est grosso modo un DLSS centré sur l'anticrénelage. Le DLSS 3 a intégré de la génération d’images qui, comme son nom l’indique, créer des images additionnelles. Quant à la reconstruction de rayons du DLSS 3.5, elle consiste à générer des pixels supplémentaires dans les scènes ray tracing exigeantes. Là encore, la fonctionnalité implique un réseau d’IA préalablement entraîné.

Au niveau local, tout ceci est géré par les cœurs Tensor. L’accélérateur de flux optique des GPU GeForce RTX série 40 intervient dans le cas de la FR.

Naturellement, toutes ces technologies n’ont pas besoin de l’IA pour exister. Pour prendre l’exemple de l'anti-aliasing par exemple, n’importe quel joueur PC jongle entre MSAA (multi-sampling anti-aliasing), TAA (temporal anti-aliasing) et FXAA (fast approximate anti-aliasing) depuis de nombreuses années. Le DLAA reprend les grandes lignes du TAA, mais à grand renfort d’apprentissage automatique, pour un résultat globalement plus convaincant.

Reste que dans l'opposition FSR / DLSS, tout le monde reconnaît la supériorité de la solution de NVIDIA – de l’application « AIfié » si vous nous autorisez le terme – en matière de qualité d’image. D’où la volonté supposée d’AMD de suivre le même chemin et de doper, à son tour, ses technos à l’IA.

Un FSR 4 pour 2024 ?

À propos des projets d’AMD pour 2024, Mark Papermaster a déclaré : « Pour nous, il s'agit d'une année importante, car nous avons passé de nombreuses années à développer nos capacités matérielles et logicielles pour l'IA. Nous venons d'achever la mise en œuvre de l'IA dans l'ensemble de notre portefeuille. Le cloud, la périphérie, les PC, nos appareils de jeu... nous allons permettre à nos appareils de jeu de monter en gamme grâce à l'IA. »

Bien que ce ne soit pas formulé explicitement, beaucoup de nos confrères voient dans ces propos la confirmation qu’une nouvelle génération de FSR exploitant l'IA est en cours d'élaboration. AMD aurait choisi de déployer progressivement son matériel compatible (GPU RDNA avec accélérateurs d'IA, NPU XDNA des Ryzen 7000 et Ryzen 8000 latpop – pour se limiter aux produits grand public) avant de publier ses ISA accélérant les charges de travail IA. En témoigne un article publié le 13 octobre dernier glorifiant les performances de la Radeon RX 7900 XTX dans DaVinci Resolve 18.6. La migration de certaines fonctions vers l'API de la plateforme Microsoft DirectML depuis la version 18.5 a déclenché à une « étroite collaboration » entre les équipes d'AMD et de Blackmagic Design ; celle-ci a abouti à la mise en place un pipeline d'apprentissage automatique optimisé pour l'exécution des charges de travail d'IA sur le matériel AMD, avec des gains notables de performance à la clef (jusqu’à x4 pour certaines tâches).

Comme pour le DLSS et l'XeSS, le recours à l'IA devrait améliorer la qualité de rendu du FSR. En revanche, cette approche romprait avec la précédente visant à rendre l'upscaler compatible avec un large éventail de GPU. Nous pouvons en effet envisager qu’un tel FSR 4 soit limité à certains Ryzen 7000 et 8000 mobiles, aux systèmes desktop / laptop armés de Radeon RX 7000. Or, dans la dernière enquête sur le matériel de Steam, les cartes Radeon les plus populaires sont les RX 580, RX 6700 XT, RX 6600 et RX 5700 XT. La première RX 7000 identifiée est la Radeon RX 7900 XTX, dans les tréfonds du classement avec sa représentativité de 0,34 %. Autant dire qu'un FSR de la sorte ne concernerait pas grand-monde, dans un premier temps.

Après, rien n’empêche AMD d’adopter une stratégie similaire à celle d’Intel pour son XeSS. Cette solution de mise à l’échelle est déclinée en deux versions : l’une, conçue spécifiquement pour les GPU Arc, se base sur l'accélération XMX afin que les cœurs du même nom exécutent le modèle d'intelligence artificielle pour effectuer l'upscaling ; l'autre, pour les cartes graphiques concurrentes, fonctionne avec les instructions DP4a. Cette distinction a toutefois une incidence sur les performances, mais aussi sur la qualité d’image (vous pouvez en avoir un aperçu dans la vidéo ci-dessous, à partir de la neuvième minute).