Quoi qu'on peut faire avec les tensor cores de la Titan ?

La dernière Titan V est merveilleuse : entre le café qu'elle ne fait pas et la puissance de calcul pharaonique qu'elle offre, vous ne savez sûrement pas quoi en faire. Pour une dépense de 3100€, cela serait quand même dommage. Des chercheurs du suédois KTH Royal Institute of Technology en collaboration avec l'Oak Ridge National Laboratory, un programme de recherche de l'oncle Sam, se sont posés la même question, et ont ainsi cherché ce qu'il était possible de tirer des tensor cores, ces nouvelles unités de calcul spécifiques à Volta.

Alors, il vaut quoi ce monstre ?

Sur papier, un cœur tensor permet d'effectuer une opération de multiplication-addition (précision mixte) sur une matrice de taille 4x4 par cycle, soit une puissance maximale théorique de 125 TFLOPS. Cependant, les opérations de chargement-rangement en mémoire étant coûteuses mais inhérentes aux programmes, cette puissance n'est jamais atteinte. L'équipe a cependant pu tirer 83 TFLOPS sur une Tesla V100 dans des conditions plus réalistes, et a vérifié un principe récurrent en informatique : plus on met les mains dans le combouis, plus ça va vite.

Face aux implémentations préexistantes (Tesla V100 sans utilisation de ces unités de calcul), les tensors cores permettent une accélération maximale d'un peu plus d'un facteur 6 (matrices de grande taille). Cela n'est pas mal du tout, surtout quand les opérations sur des matrices de petites tailles bénéficient également d'une accélération : un facteur 2,5 à 12 (si ces dernières sont effectuées en parallèle). Sans surprise, le machine learning bénéficierait énormément de cette puissance de calcul, que ce soit pour les voitures autonomes ou l'analyse de données, chère aux grands acteur du web.