ByteDance ne souhaite plus gambiller avec les GPU de NVIDIA

L’entreprise chinoise ByteDance, dont le nom est arrivée aux oreilles du grand public occidental pas l'entremise de TikTok, est un important client de NVIDIA. Un article d’AutoGPT daté de juin 2023 évoque des achats de GPU A100 et H800 à hauteur d’environ 1 milliard de dollars, tandis que notre source du jour parle d’une enveloppe de 2 milliards en 2024 pour des GPU H20. Une dépendance dont l’entreprise souhaite se soigner d’ici quelques années ; elle préparerait deux GPU IA pour 2026, selon The Information.

Zhang Yiming, fondateur et PDG de ByteDance © Gilles Sabrie / Bloomberg

Deux GPU en préparation pour 2026

Le papier parle d’un GPU consacré à l'apprentissage IA et l’autre à l'inférence. Ces deux solutions seraient toujours en phase de conception. ByteDance souhaiterait être en mesure des le faire produire en masse à TSMC d’ici 2026, via les processus N5 ou N4.

Toujours d’après The Information, cette décision a été motivée par deux leviers principaux : la difficulté à obtenir des GPU NVIDIA et les tarifs élevés pratiqués par la société. Nous pouvons tout de même en suggérer une troisième, plus global, à savoir la volonté d’indépendance de la Chine.

En raison des sanctions américaines à l’exportation, ByteDance ne peut obtenir les meilleurs GPU NVIDIA. Le H20 est justement une version amoindrie du H100 (quant aux A100 mentionnés par AutoGPT, les commandes auraient été passées avant la mise en place de restrictions les concernant). Ses capacités sont à titre bien inférieures : 296 INT8/FP8 TOPS/TFLOPS et 148 BF16/FP16 TFLOPS pour le HGX H20, contre 3 958 INT8/FP8 TOPS/TFLOPS et 1 979 BF16/FP16 TFLOPS pour le H100 selon les données de NVIDIA.

Il n’y a pour le moment aucune donnée sur les spécifications des GPU développées par ByteDance. Leur conception interne permettra à l’entreprise chinoise de s’exonérer des restrictions sur l’importation qui régissent ses échanges avec NVIDIA. Néanmoins, en faisant fabriquer ses GPU par TSMC, ByteDance restera soumise à la main-mise de l’Oncle Sam sur la production par le fondeur taïwanais. Mais forcément, l’entreprise devrait au moins y gagner côté finances. En outre, les fondeurs chinois ne sont certes pas au niveau de TSMC pour le moment, mais ils progressent rapidement. Bref, à long terme, il est sans doute plus pérenne pour ByteDance de concevoir ses propres puces.

L’autre défi a bien sûr trait à l’écosystème logiciel. ByteDance exploite actuellement la plateforme CUDA de NVIDIA pour l'entraînement et l'inférence de l'IA. Pour ses propres GPU, elle devra donc développer sa propre plateforme logicielle, optimisée pour son matériel.

Bien sûr, d’autres entreprises chinoises ont suivi cette voie et ont développé leurs puces — ou misent sur des fournisseurs du pays tels que Huawei (notamment via la gamme Ascend) ; mais un grand nombre de ces sociétés continuent d’exploiter des GPU NVIDIA pour certaines charges de travail. En témoigne la projection du million de ventes de GPU H20 en 2024 par NVIDIA, une quantité bien supérieure aux 500 000 prévus pour le Ascend 910B AI de Huawei (et pour lesquels un article de TrendForce publié fin juin parle d’un taux de rendement de seulement 20 %) ; d'ailleurs cet engouement pour les H20 pourrait rapporter à lui-seul 12 milliards de dollars à NVIDIA sur l’année, soit un montant supérieur à l’ensemble des revenus totaux de l'entreprise en Chine au cours de l’année passée (10,3 milliards). Ajoutons que selon la publication deTrendForce susmentionnée, NVIDIA détient plus de 90 % des parts de marché en Chine dans le secteur de l’IA. Bref, le divorce entre la Chine et les entreprises états-uniennes de la tech est loin d'être consommé.

Revenus NVIDIA par pays © NVIDIA

Pour sortir un peu du hardware, à propos de la menace d’interdiction de TikTok aux États-Unis, sachez que ByteDance a récemment fait appel de la décision visant à l’excommunier du territoire à l’horizon 2025. Enfin, précisons tout de même qu’au-delà de TikTok, ByteDance gère la plateforme de contenu d’actualités et d’informations Jinri Toutiao, dont les rouages exploitent des modèles d'apprentissage automatique.