COMPTOIR
  
register

Composé par ————— —— 13347 vues

NVIDIA s'intéresse toujours autant aux améliorations d'image par réseau de neurones : vers un DLSS 3.0 ?

Alors que le DLSS 2.0 est sorti il y a un peu plus d’un mois, NVIDIA ne se repose pas sur ses lauriers pour autant. En effet, un papier a été soumis au journal Computer Graphics Forum concernant une amélioration d’une technique existante, le deep adaptative sampling and reconstruction (DASR).

 

L’idée de base du DASR consiste à reconstruire une image à partir de données incomplètes savamment choisies. L’idée, proche conceptuellement du Coarse Pixel Shading de chez Intel et de l’Adaptative Shading chez NVIDIA, est de diminuer la qualité de pixels calculés (pour un rendu 100 % au lancer de bâtons, vous comprenez l’intérêt niveau performances) et d’utiliser un réseau de neurones pour reconstruire l’image, avec une subtilité : c’est également un réseau de neurones qui vient décider où passer le temps de calcul (d’où le terme adaptative sampling), au lieu de stopper le rendu pour tous les pixels après un certain temps ou un certain nombre de rayons.

 

nvidia neural temporal sampling denoising

Le schéma d’organisation du schmilblick de NVIDIA

 

Sur papier, cela est bien beau, mais un soucis de taille se pose dans la réalité : l’algorithme s’accomode très mal d’une vidéo, le double réseau n’étant pas assez souple pour proposer des images parfaitement cohérentes temporellement, donnant un effet « esquisse » certes artistique, mais pas vraiment du goût du photoréalisme recherché.

 

Pour pallier ce problème, des chercheurs de chez NVIDIA ont mis au point une nouvelle technique, basée sur... toujours plus de machine learning, youpi ! Grâce aux vecteurs vitesse directement disponibles dans le moteur de rendu, l’algorithme a été modifié pour ne retracer que les parties en mouvement, et pouvoir réutiliser les informations de la frame précédente au lieu de recalculer inutilement le rendu ray tracé — ce qui n’est pas sans rappeler un travail précédent de la firme. Par exemple, dans une cinématique où la caméra resterait fixe, le réseau ne calculerait plus que les détails des personnages, sans se soucier de l’arrière-plan. Le résultat est très propre, bien que certains mouvements légers comme les ombres faiblement marquées ne soient pas encore correctement reproduits, le réseau ayant en effet trop tendance à réutiliser le rendu précédent, ce qui crée un ghosting malvenu.

 

Les explications, en vidéo

 

Pour le moment encore dans les papiers, il ne fait aucun doute que ces recherches soient dirigées dans le seul but d’améliorer la vitesse de rendu des RTX vertes. Bien que nous soyons encore loin d’une application directement intégrée dans les pilotes, les résultats sont largement prometteurs... Peut-être une inspiration pour un DLSS 3.0 ?

 

Le papier complet par ici !
Un poil avant ?

Pilotes Geforce pour Minecraft RTX et d'autres jeux

Un peu plus tard ...

Live Twitch • Oh, un MW2 remasterisé ?!

Les 9 ragots
Les ragots sont actuellement
ouverts à tous, c'est open bar !
par Un médecin des ragots en Île-de-France, le Jeudi 14 Mai 2020 à 18h21  
Je ne sais pas pourquoi le DLSS utilisé dans les rendus 3D ne nécessitant pas de cores IA, est meilleur que le DLSS jeu. Mon idée c'est que Nvidia utilise opportunément les IA cores qui ne réduisent pas les capacités du reste du GPU, en jeu, mais les fonctions IA ne permettent pas de faire aussi bien, qu'en calculant par la partie Cuda classique. Probablement qu'Ampère aura des fonctionnalités IA plus poussées.
par Deus, le Mercredi 13 Mai 2020 à 13h29  
par Un médecin des ragots en Provence-Alpes-Côte d'Azur, le Vendredi 08 Mai 2020 à 08h24
Le DLSS est tout aussi bon que le TAA maintenant, mais double les fps dans la plupart des cas. C'est dommage qu'ils ne s'en servent pas aussi pour améliorer la qualité comme un vrai supersampling
C'est meme pire que ca, le DLSS 2.0 est superieur a TAA car contrairement a TAA il ne degrade pas l'image lorsqu'elle est en mouvement ! Un point souvent neglige !
par Un médecin des ragots en Provence-Alpes-Côte d'Azur, le Vendredi 08 Mai 2020 à 08h24  
par Scrabble, le Mercredi 06 Mai 2020 à 14h59
Quelle que soit la version du DLSS, ce sera toujours une reconstruction à partir d'une plus basse définition, donc l'équivalent d'une compression vidéo. Or, pour une vidéo, même avec le meilleur compresseur du monde, si le bitrate est trop faible, l'image décompressée sera moche. La plus basse définition de rendu en RTX, c'est l'équivalent du bitrate. Dès lors qu'il y a perte d'information, il est impossible de la reconstituer à l'origine. Donc, oui, que Nvidia améliore son DLSS, c'est très bien, mais ça ne remplacera jamais un rendu dans la définition native.
Le DLSS est tout aussi bon que le TAA maintenant, mais double les fps dans la plupart des cas. C'est dommage qu'ils ne s'en servent pas aussi pour améliorer la qualité comme un vrai supersampling
par Superubu, le Mercredi 06 Mai 2020 à 17h19  
par Roro en Île-de-France, le Jeudi 16 Avril 2020 à 13h37
Nvidia ils sont juste trop nul, avant on avait un pauvre Z80 à 4 Mhz et 128 Ko de mémoire et on faisait des trucs démentiel, il y avait de vrai codeurs assembleur qui utilisaient pleinement les ressources de la machine. Aujourdhui t'as le droit à 200 surcouches pour ne serait ce qu'afficher une pauvre fenêtre... comme ça ton beau Ryzen 32 cores @ 4,4 ghz il rame de la mort .... c'est juste invraisemblable ....
En fait, de manière globale on peut dire que plus tu as de contraintes, plus tu as tendance à te montrer créatif...Sans trop caricaturer, il y a pas mal de stratégie d'optimisation du code de l'époque dont on pourrait s'inspirer aujourd'hui.

En passant, parlant de 6128, t'as entendu parler de SymbOs? Les performances du bestiau sont assez épatantes je trouve
par Scrabble, le Mercredi 06 Mai 2020 à 14h59  
Quelle que soit la version du DLSS, ce sera toujours une reconstruction à partir d'une plus basse définition, donc l'équivalent d'une compression vidéo. Or, pour une vidéo, même avec le meilleur compresseur du monde, si le bitrate est trop faible, l'image décompressée sera moche. La plus basse définition de rendu en RTX, c'est l'équivalent du bitrate. Dès lors qu'il y a perte d'information, il est impossible de la reconstituer à l'origine. Donc, oui, que Nvidia améliore son DLSS, c'est très bien, mais ça ne remplacera jamais un rendu dans la définition native.
par CYCGalaxy, le Jeudi 16 Avril 2020 à 14h44  
Cela dépends des usages quand on joue a des jeux rétros, on s'en fou bien mal. Il y a peu j'ai relancé Automobilista qui tourne sur ma carte graphique intégrée. Je trouve le jeu sympa graphiquement, il se concentre sur la route et la voiture. Pas besoin d'effet superflus et parasite.
par Roro en Île-de-France, le Jeudi 16 Avril 2020 à 13h37
Nvidia ils sont juste trop nul, avant on avait un pauvre Z80 à 4 Mhz et 128 Ko de mémoire et on faisait des trucs démentiel, il y avait de vrai codeurs assembleur qui utilisaient pleinement les ressources de la machine. Aujourdhui t'as le droit à 200 surcouches pour ne serait ce qu'afficher une pauvre fenêtre... comme ça ton beau Ryzen 32 cores @ 4,4 ghz il rame de la mort .... c'est juste invraisemblable ....

Je retourne à mon CPC 6128, au moins quand j'appuie sur le bouton ON/OFF il est opérationnel illico presto et à moi les joies de crazy cars , ghost & gobblins, double dragon , arkanoid ... enfin de vrai jeu !
Pas besoin d' UC , tout est dans le clavier et ça c'est top !
par Roro en Île-de-France, le Jeudi 16 Avril 2020 à 13h37  
par CYCGalaxy, le Jeudi 16 Avril 2020 à 13h03
La démarche est intelligente. Le Hardware coûtant de plus en plus cher, si l'on peut obtenir des performances via d'autres technologies, c'est tout bénef pour le client. A produit équivalent, il y aura toujours ce petit plus chez les verts (pour le moment). Après comme toujours, cela dépends des usages.
Nvidia ils sont juste trop nul, avant on avait un pauvre Z80 à 4 Mhz et 128 Ko de mémoire et on faisait des trucs démentiel, il y avait de vrai codeurs assembleur qui utilisaient pleinement les ressources de la machine. Aujourdhui t'as le droit à 200 surcouches pour ne serait ce qu'afficher une pauvre fenêtre... comme ça ton beau Ryzen 32 cores @ 4,4 ghz il rame de la mort .... c'est juste invraisemblable ....

Je retourne à mon CPC 6128, au moins quand j'appuie sur le bouton ON/OFF il est opérationnel illico presto et à moi les joies de crazy cars , ghost & gobblins, double dragon , arkanoid ... enfin de vrai jeu !
Pas besoin d' UC , tout est dans le clavier et ça c'est top !
par Campi, le Jeudi 16 Avril 2020 à 13h20  
par CYCGalaxy, le Jeudi 16 Avril 2020 à 13h03
La démarche est intelligente. Le Hardware coûtant de plus en plus cher, si l'on peut obtenir des performances via d'autres technologies, c'est tout bénef pour le client. A produit équivalent, il y aura toujours ce petit plus chez les verts (pour le moment). Après comme toujours, cela dépends des usages.
Faudrait aussi que ça se démocratise parce que pour l'instant il y a combien de jeux dlss / rtx? 4? 5?
par CYCGalaxy, le Jeudi 16 Avril 2020 à 13h03  
La démarche est intelligente. Le Hardware coûtant de plus en plus cher, si l'on peut obtenir des performances via d'autres technologies, c'est tout bénef pour le client. A produit équivalent, il y aura toujours ce petit plus chez les verts (pour le moment). Après comme toujours, cela dépends des usages.