Deep Learning : mais qu'est-ce que ça fait au juste ?

S'il ne fallait citer qu'un domaine en vogue en informatique théorique de nos jours, ce serait très probablement le machine learning. Son essor est tel que des unités de calcul dédiées, les tensor cores, sont intégrées dans la dernière Titan Vend ton rein. Similairement, Intel a récemment mis en vente un module basse consommation spécialement dédié à cet usage.

Un algorithme particulièrement à la mode se base sur des réseaux de neurones. Des calculs matriciels sont réalisés afin de simuler des couches au comportement similaire à celui observé dans le cerveau : les neurones sont répartis en couches, et chaque unité de calcul émet un signal en fonction des sorties des couches précédentes. Pour effectuer une tâche, les neurones doivent être au préalable entraînés. Ces étape s'effectue par un ajustement des pondérations des entrées de chaque neurone, de manière à obtenir une sortie correspondante avec le caractère désiré. Par exemple, dans le cadre de la reconnaissance d'image, la première couche est mise directement en relation avec le fichier d'entraînement, et les poids sont adaptés de manière à obtenir un "1" en sortie si un chat est détecté, "0" sinon.

Les réseaux de neurones : une imitation informatique du cerveau

Un souci principal est que ce mécanisme est opaque : il est impossible de repérer le rôle d'une couche en regardant les contributions de la couche précédente (il ne s'agit que de nombres, pas facile de les relier à telle ou telle caractéristique). Un travail en provenance du MIT apporte un élément de réponse. Il consiste à entrainer, pour chaque couche du réseau à étudier, un second réseau de neurones en utilisant comme entrée la sortie de la couche cible (du premier réseau donc). En regardant les réactions du réseau secondaire, on peut en déduire le rôle de la couche qui a servi d'entraînement.

De manière peu surprenante (ou surprenante selon vos attentes !), on retrouve des comportements similaires à ceux observés biologiquement ; à partir d'un algorithme à la base dédié à la reconnaissance vocale. Les premières couches détectent principalement des formes "bas niveau" (ici des sons) ; quand les couches supérieurs font la liaison avec le sens sémantique des mots détectés.

Cela signifie-t-il que les réseaux de neurones ont finalement parfaitement réussi à imiter l'humain ? Pas vraiment. Les chercheurs ont pu détecter une spécificité manquante par rapport au cerveau humain dans la partie décodeur d'un réseau traduisant de l'anglais vers l'allemand. En corrigeant ce défaut (par une modification de la procédure d'apprentissage), les performances du réseau ont pu être augmentées de 3%, comme quoi personne n'est parfait, pas même une machine ! (Source : Mit News)