Une IA pour changer l'heure de vos photos : la solution pour vos couchers de soleil ?

Voici un pas de plus pour les machines en direction de la compréhension du monde qui les entoure. En effet, grâce aux derniers travaux d’un groupe de chercheurs en provenance de Russie, en collaboration avec le centre de recherche local de Samsung IA, un réseau de neurones nommé High-resolution Daytime Translation (HiDT) est parvenu à modifier des images pour mimiquer différents moments de la journée, permettant ainsi de transformer un cliché de votre balade digestive en splendide exploration nocturne.

Inutile de se plonger en détail sur l’architecture interne du réseau, sachez simplement qu’il se compose en un encodeur puis un décodeur, le tout saupoudré d’un concentré de mathématiques qui a permis de réaliser l’apprentissage de manière autonome, c’est-à-dire qu’aucune étiquette n’a été fournie au bousin pour lui indiquer quelle photo était à quel moment de la journée. La classification a donc été faite automatiquement en fonction des similarités détectées entre les images : plus difficile à entraîner, cette méthode risque des moins bons résultats en sortie du programme ; c’est peut-être ce qui a poussé les chercheurs à utiliser un pipeline d’amélioration fusionnant les résultats de plusieurs instances d’HiDT pour obtenir un résultat cohérent.

Néanmoins, les travaux ne sont pas encore parfaits : l’algorithme — comme tous les travaux actuels de machine learning — se contente de re-mimiquer localement le comportement sur lequel il a été entraîné, et n’a pas encore de compréhension globale du phénomène. Concrètement, cela se traduit ici par des transformations, certes impressionnantes, sur la colorimétrie générale et l’allure du ciel, mais les ombres restent identiques. En fait, le programme n’a pas encore la capacité de comprendre que le soleil change de position, et encore moins d’inférer les conséquences que cela peut avoir sur les paysages. Un axe d’amélioration pour la suite ? Notez que, du coup, HiDT peut reproduire un « style » de la même manière qu’une ambiance de la journée. Par exemple, imiter un style de peinture ou encore changer le mauvais temps en une éclaircie. De quoi donner des idées pour les prochaines applications filtres sur téléphone portable ?