Des réseaux de neurones pour des superpixels chez les verts

Avec les RTX, NVIDIA a décidé d'apporter des unités spécialisées dans la mutliplication-addition de matrices au grand public. Ces dernières étant particulièrement utiles dans le domaine de l'IA (c'est un peu pour ça que les concepteurs les y ont mis), il n'est pas étonnant que le marketing leur offre une bonne place.

Oui, mais la publicité n'est pas, tout ; et NVIDIA le sait bien. Dans le domaine de la recherche en machine learning, la firme est dans le peloton de tête comme en témoigne la publication du jour, présentée à l'occasion de l'European Conference on Computer Vision (ECCV). L'idée est d'utiliser un réseau de neurones profond (ou multi-couche) couplé à l'algorithme SLIC préexistant (Simple Linear Iterative Clustering). Ce dernier, qui n'est pas à proprement parler du machin learning, est modifié pour l'occasion afin de rendre l'apprentissage de tout possible sans trop mettre les mains dans le cambouis.

Le tout forme un nouvel algorithme nommé Superpixel Sampling Network (SSN) qui apprend à déduire à partir de photos ou extraits de films des petites zones présentant des caractéristiques similaires. Si ces dernières ne sont pas carrées comme nos cher pixels d'écran, il ne faut pas oublier que le mot pixel n'est qu'une contraction de Picture Element (Pix El), c'est pourquoi ces régions sont appelées Superpixels.

Le fonctionnement du bouzin, avec les applications possibles : reconnaissance de zones et reconnaissance de mouvements

Ce travail est très proche de la reconnaissance d'image : en effet, réduire une image en superpixels permet de pré-mâcher les tâche de reconnaissance d'objet en simplifiant la photo originel - on n'est pas si loin d'une vectorisation automatique. Certes, cela n'est pas directement utilisable en jeu, mais des utilités au niveau d'algorithmes de vidéosurveillance ou de robots autonomes sont déjà toutes trouvées. A quand la commercialisation ?