Intel publie sa bibliothèque d’accélération NPU pour les Meteor Lake

L’une des particularités des Core laptop de 14e génération, nom de code Meteor Lake, est l’intégration d’un NPU (Neural Processus Unit) - un temps appelé VPU (Versatile Processing Unit) par Intel. L’entreprise vient de publier sa NPU Accelaration Library sur GitHub. La bibliothèque fonctionne sous Windows et Linux.

Une petite démo

La NPU Acceleration Library peut permettre d’exécuter certains LLM sur le NPU des processeurs Meteor Lake, par exemple. Les destinataires sont les développeurs plutôt que le grand public.

C’est à eux que Tony Mongkolsmai, architecte logiciel et accessoirement animateur de podcasts chez Intel Corporation, s’est adressé dans un message publié sur le réseau social X.

For devs that have been asking, check out the newly open sourced Intel NPU Acceleration library. I just tried it out on my MSI Prestige 16 AI Evo machine (windows this time, but the library supports Linux as well) and following the GitHub documentation was able to run TinyLlama… pic.twitter.com/UPMujuKGGT

— Tony Mongkolsmai (@tonymongkolsmai) March 1, 2024

« Pour les développeurs qui se posent la question, jetez un coup d'œil à la nouvelle bibliothèque d'accélération Intel NPU open source. Je viens de l'essayer sur ma machine MSI Prestige 16 AI Evo (Windows cette fois, mais la bibliothèque supporte aussi Linux) et en suivant la documentation GitHub, j'ai pu faire tourner TinyLlama et Gemma-2b-it sans problème. Ceci est destiné aux développeurs pour travailler avec des modèles pour le NPU, pas vraiment un chemin de production... pour cela vous devez utiliser DirectML/OpenVINO. Un article sera bientôt rédigé par l'équipe, mais c'est trop cool pour ne pas le partager. »

Tony Mongkolsmai a également partagé le code Python qu'il a utilisé pour faire fonctionner son chatbot.

Une bibliothèque encore incomplète

De manière générale, la NPU Acceleration Library  doit faciliter la création de nouveaux logiciels basés sur l’intelligence artificielle pour les PC. Pour le moment, elle n'est pas encore complète. Elle ne propose qu’une petite moitié des fonctionnalités prévues. Il manque notamment le calcul hétérogène NPU-GPU ou encore l'inférence de précision mixte qui peut être exécutée sur le NPU.

Par ailleurs, à ce stade, cette bibliothèque ne cible que les processeurs Meteor Lake ; plus précisément, aux seuls véritables Core de 14e génération, à savoir les Core Ultra (sans le suffixe i). D’ici quelques mois, elle englobera les générations Arrow Lake et Lunar Lake également armées de NPU. En supposant des capacités accrues par rapport à celui de Meteor Lake, leur NPU supportera des LLM un peu plus exigeants (TinyLlama plafonne à 1,1 milliard de paramètres).

Ci-dessous, la liste des formats supportés et ceux prévus. Enfin, comme mentionné par Tony Mongkolsmai, Intel doit aussi proposer une documentation complète dans les prochains jours.