Une "petite" optimisation améliore grandement les performances CPU pour le Machine Learning

Généralement le Deep Learning - une sous catégorie des algorithmes d'apprentissage - est plus efficace sur des GPGPU, voire des puces dédiées, car les calculs matriciels qui en découlent sont fortement parallélisables. Cependant il est souvent plus simple (ou moins couteux pour les résultats préliminaires) de les faire tourner sur un simple CPU, ce qui a l'inconvénient de prendre bien plus de temps.

Cette époque serait bientôt révolue : des accélérations matérielles telles que l'utilisation des instructions AVX et de l'Intel Math Kernel Library ont permis (selon Intel) des améliorations allant de 10x à 72x sur des Xeon Phi (la première tentative d'Intel de s'installer dans les clusters de calculs manycores), et 5x à 20x sur des Xeon Broadwell (avec une machine de test à 22 coeurs tout de même !).

Les bibliothèques concernées sont Caffe et Tensorflow, si vous les utilisez dans leur version "optimisée CPU", mais également d'autres projets tels Torch, dont une branche CPU est sous développement par le fondeur de Santa Clara ou encore Theano et Neon (rien à voir avec les instructions ARM). Bien que certaines optimisations remontent à l'été dernier, The Next Platform a répertorié les outils concernés et les impacts sur les performances : NVIDIA, leader du domaine, pourrait bien avoir du souci à se faire !