NVIDIA génère des vidéos à partir d'autres vidéos : le futur des effets spéciaux ?

Dans la série "duo de recherche habituelle", voici un nouveau papier en provenance du MIT en collaboration avec NVIDIA, qui concerne - sans surprise - le machine learning. A l'aide d'une bonne couche de mathématiques appliquées, des chercheurs sont parvenus à créer une IA capable de générer des vidéos à partir d'autres vidéos en entrée, sans pour le moment se préoccuper du son.

A quoi cela peut-il bien servir ? L'idée est de ne fournir qu'un masque au programme, c'est à dire une description de régions uniquement, et ce dernier se charge tout seul de remplir avec du contenu qui lui semble pertinent. Notez que cela diffère d'une synthèse image par image, étant donné le caractère temporel et continu contenu dans une vidéo.

"Alors, rien de tout cela n'est réel ?"

Le résultat, vendu comme "photoréaliste", reste assez onirique mais néanmoins bluffant. Pour parvenir à ce résultat, l'algorithme implémente des Generative Adversarial Networks, un modèle relativement récent consistant à entraîner deux réseaux de neurones profonds l'un contre l'autre. Le premier génère des fausses images, et le second essaye de séparer ces dernières de vraies images données pour l'entraînement.

Du coup, on peut faire... danser des filles (?)!

Bien sûr, il ne s'agit ici encore que d'un travail de recherche préliminaire, mais on peut raisonnablement imaginer des applications dans le domaine du cinéma, afin de peaufiner certains effets spéciaux, voire dans le jeu vidéo comme un développement plus poussé du DLSS (l'antialiasing version Deep Learning sauce NVIDIA). Pour remettre les choses dans le contexte, l'entraînement du réseau utilisé ici a pris 10 jours en utilisant totalement une DGX-1, la boite magique d'NVIDIA contenant 8 Tesla V100 équipées de 16 Go de HBM chacune. Il va donc falloir attendre encore un peu avant de trouver ça chez soi !