NVIDIA veut muscler la HBM avec la NVHBM

NVIDIA a dévoilé la NVHBM, une déclinaison personnalisée de la mémoire HBM destinée aux accélérateurs IA. Sur la papier, elle est en mesure de fournir jusqu’à 30 % de bande passante supplémentaire face à la HBM4E, tout en réduisant sa consommation.

Il ne s'agit pas d'une nouvelle norme destinée à remplacer la HBM4e. NVIDIA la présente plutôt comme une implémentation custom de la HBM, proposée dans le cadre de son programme NVLink Fusion. Ce dernier permet à des acteurs comme les hyperscalers de concevoir leurs propres XPUs tout en les intégrant à l'écosystème NVIDIA.

Le contrôleur mémoire déménage

La principale particularité de la NVHBM se trouve dans l'organisation de l'interface mémoire. Dans une implémentation HBM4E classique, le contrôleur mémoire se trouve sur le die de calcul de l'accélérateur. NVIDIA le déplace ici dans le base die de l'empilement HBM et intègre également un PHY plus compact.

Cette modification permet de libérer de l'espace sur le die principal. NVIDIA annonce ainsi jusqu'à 25 % de surface supplémentaire disponible sur le die de calcul de l'XPU (X Processing Unit, un terme générique pour désigner une unité de calcul) par rapport à une configuration HBM4E standard. Cet espace peut être utilisé pour ajouter des unités de calcul ou d'autres fonctionnalités.

Le changement réduit également l'empreinte de l'interface mémoire. NVIDIA évoque jusqu'à 67 % de surface en moins (par rapport au standard JEDEC pour la HBM4e) pour le PHY et les circuits associés. La société affirme que cela simplifie aussi le routage au niveau de l'interposeur.

Le principal argument reste évidemment la bande passante. NVIDIA annonce jusqu'à 30 % de bande passante mémoire supplémentaire par empilement par rapport à la HBM4E standard. Enfin, la firme promet aussi jusqu'à 15 % de consommation en moins. Un gain qui s'il se vérifie, est loin d’être marginal à l’échelle des centres de données où les accélérateurs se comptent par milliers.

Il faut toutefois rester prudent sur les chiffres. L'entreprise ne donne pas, à ce stade, la fréquence exacte de fonctionnement ni la largeur d'interface de la NVHBM. Il serait donc hasardeux de convertir directement les +30 % annoncés en un débit précis en To/s. D'ailleurs, elle se garde aussi de le faire.

L'objectif sera d'intégrer cette NVHBM dans les accélérateurs personnalisés développés avec NVLink Fusion. La NVHBM constitue donc surtout une nouvelle brique de cet écosystème. Pour l'instant, le premier partenaire annoncé est Amazon, via sa division spécialisée dans les semi-conducteurs, Annapurna Labs.

Vous pouvez consulter l'annonce ainsi que l'article issu du Technical Blog.