La SPEC déclasse plus de 2600 résultats de CPU Intel pour excès d’optimisation

Nous connaissions les magouilles de certains fabricants de cartes mères sur la consommation des Ryzen, ou celle portant sur les SoC des smartphones. Voici une manœuvre un peu plus subtile, orchestrée par Intel.

La SPEC (Standard Performance Evaluation Corporation), une organisation qui propose toute une batterie de tests de performance pour les ordinateurs (donc SPEC CPU 2017, le plus récent), a annoncé le déclassement d’environ 2600 résultats de CPU Intel. En cause, une optimisation ciblée pour une charge de travail spécifique du benchmark, et donc considérée par l’organisme comme une « tricherie ».

Processeur Intel Xeon Sapphire Rapids © Intel

Une optimisation circonscrite au benchmark

Les benchmarks de la SPEC jaugent des prestations d’un processeur de diverses manières. L’une d’elles a trait aux capacités d'optimisation du compilateur. C’est sur ce levier qu’Intel a, aux dires de la SPEC, tiré irrégulièrement.

Les entrées incriminées sont désormais apostillées de la note suivante :

« La SPEC a jugé que le compilateur utilisé pour ce résultat effectuait une compilation qui améliore spécifiquement les performances des benchmarks 523.xalancbmk_r / 623.xalancbmk_s en utilisant une connaissance a priori du code SPEC et de l'ensemble des données pour effectuer une transposition dont l'applicabilité est très limitée. Afin d'encourager les optimisations qui ont une large applicabilité (voir règle 1.4 https://www.spec.org/cpu2017/Docs/runrules.html#rule_1.4), SPEC ne publiera plus les résultats utilisant cette optimisation. Ce résultat est conservé dans la base de données des résultats SPEC à titre de référence historique. »

La règle en question est assez évidente. L’organisme reconnait la difficulté à « tracer une ligne exacte » entre des optimisations globales et celles exclusives au benchmark. Cependant, il prévient que les optimisations logicielles ne doivent pas être de simples stratégies visant à booster artificiellement les performances dans les suites SPEC CPU 2017, mais des méthodes applicables de manière générale à d’autres programmes.

En conséquence, la SPEC estime que plus de 2 600 résultats de benchmark publiés avec le compilateur oneAPI DPC++ ne respectent pas cette doctrine ; qu’ils n’illustrent pas les performances dans le monde réel. Les systèmes suspects sont principalement armés de processeurs Sapphire Rapids (Xeon de 4e génération). Rappelons qu'Intel avait repoussé la sortie de cette génération de puces à maintes reprises ; elle a finalement vu le jour début 2023.

Une pratique plus en cours aujourd’hui

L’article de Phoronix précise que seules les versions 2022.0 à 2023.0 du compilateur sont visées par la SPEC. Autrement dit, les éditions antérieures et ultérieures respectent les règles. Ainsi, les résultats obtenus avec des processeurs Xeon Emerald Rapids, alias les Xeon de cinquième génération, sont, normalement, épargnés : Intel n’a lancé cette gamme qu’en fin d’année dernière. Enfin, toujours selon la publication de nos confrères, les gains de performances SPECint induits par ce compilateur optimisé montent jusqu’à 9 %.

Cette accusation de tricherie est logiquement une mauvaise publicité faite par la SPEC à Intel. En supposant que la malversation soit intentionnelle – ce que suggère la SPEC –, elle trahirait surtout l’ombre que font planer les EPYC d’AMD sur les Xeon d’Intel depuis quelques années. Quoi qu’il en soit, la portée du « préjudice » est à relativiser. D’autant plus qu’en matière de malversation, nous avons vu bien pire ; à côté des études scientifiques bidonnées ou encore de l’installation de logiciels truqueurs visant à réduire les émissions des véhicules lors des tests d’homologation, sur l’échelle de la crapulerie, la tromperie d’Intel relève davantage de la petite délinquance que du grand banditisme, non ?