Du machine learning pour générer des mangas : pas si loin des rêves de moutons mécaniques ?

Bien que les avancées de l’IA en matière de reconnaissance d’image et de génération de bidules vidéoludiques soient remarquables, ces imitations ne permettent somme toute pas de qualifier des machines d’« intelligentes ». En effet, il s’agit exclusivement de répétition d’une tâche auparavant difficile, voire impossible, par ordinateurs, et longue ou répétitive pour les humains... « Pas l’ombre d’un ghost là-dedans » !

Pour filer la référence des plus emblématiques productions japonaises, une équipe de chercheurs et d’artistes de la Kioxia Corporation (ex-Toshiba Memory, une entreprise spécialisée dans la mémoire) s’est justement mise dans la tête de faire perdurer le style de Osamu Tezuka, le « père des mangas », en collaboration avec son studio, Tezuka Productions dans un programme nommé Future Memories. Et, dans le domaine de l’imitation, quoi de mieux que le machine learning ? Pas grand-chose ! C’est pourquoi NVIDIA est allé fourrer son nez dans le schmilblick avec son StyleGAN, un réseau de neurones adversariel capable de reproduire la patte graphique d’un artiste ou une ambiance lumineuse sur une autre image source.

Les premiers résultats, à gauche, étaient loin de reproduire correctement les détails du visages comme les yeux et les nez. Après moult acharnement, les résultats se sont nettement améliorés (à droite).

Après un entraînement sur plus de 150 000 pages d’images manuscrites de Tezuka (merci aux Tesla V100 utilisées !), et des truchements permettant de rajouter artificiellement d’autres informations (par exemple via des symétries, des rotations ou des sélections arbitraires de visages masculins et féminins issus de la vie réelle), les chercheurs se sont enfin retrouvés face à un résultat probant. Ainsi, le character design des personnages est intégralement repris de générations automatiques : qui a prétendu que les ordinateurs n’avaient pas leur mot à dire sur l’art ?

Nommé PHAEDO, le manga est publié dans la revue hebdomadaire Morning. Reste à voir si le succès sera autant au rendez-vous que les monuments que sont Astro Boy ou Kimba le Lion Blanc. En tout cas, nous ne pouvons que saluer le travail accompli ! (Source : NVIDIA Research)