Geekbench inaugure son benchmark IA, un nouveau ring pour NPU

Nous ne vous ferons pas l’affront de vous présenter Geekbench, l’un des plus célèbres benchmarks multi-plateformes pour jauger des performances CPU et accessoirement GPU (via les tests OpenCL, Vulkan et Metal) des processeurs.

Cela fait maintenant deux ou trois générations que ces puces intègrent des NPU (neural processing unit), mais les Ryzen AI 300, Core Lunar Lake et Snapdragon X Series ont véritablement commencé à mettre l’emphase sur cet aspect. Primate Labs a donc jugé le moment opportun pour dégainer Geekbench AI, la version 1.0 d'un benchmark jusqu’ici appelé Geekbench ML dans sa version preview (testée depuis 2021) ; une appellation forcément plus explicite pour le grand public.

Un benchmark IA multi-platerforme

Le benchmark est disponible pour Windows, Linux, macOS, iOS et Android. Vous trouverez ci-dessous les versions minimales, avec les frameworks et compilateurs pris en charge.

À l'instar d’autres tests Geekbench, Geekbench AI fournit plusieurs scores. Trois en l’occurrence : Full Precision, Half Precision et Quantized. Comme pour les tests CPU et GPU, le benchmark effectue plusieurs mesures de puissance de calcul « brute » via différents sous-tests.

Seulement pour jauger des performances IA, il ne suffit pas de relever le temps de parcours ; il faut s'assurer que le concurrent passe la bonne ligne d'arrivée. Autrement dit, il faut également tenir compte de l’exactitude.

« Les performances de l'IA ne dépendent pas seulement de la rapidité d'exécution d'une charge de travail donnée, mais aussi de la proximité de ses résultats avec la vérité — en d'autres termes, de la précision avec laquelle ce modèle peut faire ce qu'il est censé faire », explicite Primate Labs. La société donne l’exemple d’un modèle de détection d'objets de type hot-dog. Elle indique que si celui-ci s’exécute très rapidement, mais qu’il ne peut détecter avec précision un hot-dog que dans 0,2 % des cas, il n'est en réalité pas très performant. En conséquence, Geekbench AI inclut une mesure de la précision. L’entreprise argue que celle-ci peut aussi aider les développeurs à voir les avantages et les inconvénients des différents types de données, lesquelles peuvent augmenter les performances et l'efficacité au détriment de la précision.

Pour le moment, l’évaluation des capacités IA des NPU intégrés aux puces grand public se borne essentiellement à une guerre de TOPS, une sorte de foire où chacun revendique le plus gros TOPS. Espérons que Geekbench AI, et d’autres benchmarks tiers, vont permettre de jauger des performances par un prisme plus objectif.