L'IA au MIT, ou comment éditer des musiques de vidéos

Si nous vous parlions ce week-end des applications du machine learning pour prédire vos préférences et en tirer des bouzoufs bien dorés, ce n'est heureusement pas la seule application. Des chercheurs un peu moins intéressés par vos données, en provenance directe du MIT et plus précisément du Computer Science and Artificial Intelligence Laboratory, ont en effet entraîné un algorithme d'apprentissage profond en mode non-supervisé, c'est-à-dire sans aucune indication externe sur ce qu'il faut faire si ce n'est de tenter de mimiquer les quelques 60h de vidéos ayant servis à le nourrir. Le système est divisé en trois sous-réseaux de neurones : un pour le son, un autre pour l'image et enfin un dernier faisant la synthèse des deux précédents.

Le résultat, nommé PixelPlayer, a dépassé toutes les autres techniques mises en œuvre jusqu'ici. En effet, ce dernier permet d'identifier des instruments avec une précision de l'ordre du pixel, et de séparer le flux sonore qui en provient de la piste générale. On imagine de suite les application dans le domaine de la musique professionnelle - pouvoir égaliser chaque musicien individuellement après un unique enregistrement commun, le pied !

Pour le moment, l'algorithme est capable de différencier un peu plus de 20 instruments, mais cela pourrait être aisément accru si la phase d'apprentissage était davantage étendue. Bientôt dans After Effects ? (Source : MIT News)