L'IA appliquée concrètement par NVIDIA à la compression de flux vidéo

Le Machine Learning est certainement l’une des avancées les plus majeures de notre décennie. En effet, grâce aux réseaux de neurones artificiels (ANN), de nombreuses tâches hors de portée des ordinateurs sont devenues monnaie courante, en particulier dans les domaines de traitement d’image et de son.

L’une des plus grandes applications de ces technologies par NVIDIA réside dans le DLSS, utilisation d’un réseau de neurones pour mettre à l’échelle une image de jeu vidéo calculée initialement dans une définition inférieure à celle de votre écran. À l’occasion de la GPU Technology Conference (GTC), les verts se sont fendus d’une nouvelle application, cette fois-ci dédiée aux professionnels, car concernant la visioconférence.

Outre le côté très opportuniste de la présentation — en temps de COVID, nombreux sont les appels vidéo par internet — ce n’est (de loin) pas la première fois que ces chers réseaux sont conviés dans ce domaine : Microsoft permet en effet de flouter voir de remplacer son arrière-plan sur Skype par une technologie similaire.

Cette fois-ci, c’est d’économie de débit dont il est question, car ces petits neurones sont mis à contribution dans le but de réduire la quantité de données envoyées lors de visioconférences tout en conservant une image nette.

Un résultat sans appel !

En interne, rien n’est vraiment nouveau : le réseau est de type adversariel (ou GAN), une partie étant consacrée à l’amélioration et l’autre à tenter de trouver des failles dans cette amélioration afin de garantir un résultat optimal. Normal ? Presque : le bousin ne transmet initialement qu’une seule image, puis se contente de points représentant diverses zones d’intérêts du visage telle la position des yeux, du nez ou encore de la bouche. À l’usage, le résultat est sans appel : le h264 est totalement dépassé (les H265 n’ayant pas été testé), avec, au choix, soit une meilleure qualité à bande passante équivalente (cf ci-dessus), ou une réduction de ladite bande passante d’un facteur 10 minimum à qualité proche.

Grâce à ce système, il est également possible de réorienter la tête de l’individu, et même d’animer une tête modélisée en 3D !

Outre le côté très Blade Runner de la chose (un upscaling de qualité à partir d’une simple photo !), rappelons tout de même que les réseaux utilisés doivent être préalablement entrainés, ce qui coûte de l’énergie, et donc de l’argent. En outre, les ingénieurs dédiés au projet restent des hommes, de ce fait sensibles aux biais sociaux : ainsi, des précédents travaux ont d’ores et déjà révélé des traitements inégaux selon l’origine des utilisateurs : les visages se trouvent très souvent européanisés, même si la couleur de peau est dans l’ensemble correctement retranscrite. Espérons donc que les verts aient suffisamment testé leur produit avant de le lancer en production de masse, sans quoi des dents risquent de grincer ! (Source : Hexus)

À la base, il s’agissait d’une photo de Barack Obama...