Une puce pour IA avec un groq, c'est possible ça ?

Au comptoir, pas de préférence : les petits sont les bienvenus tous comme les grands, les maigrelets et même les Groq. Ce n’est d’ailleurs qu’à demi une boutade, puisque ce Groq est en fait le nom d’une start-up orientée IA (quelle originalité), qui propose des cartes accélératrices pour serveur.

Grâce à une architecture novatrice — mais gardée sous secret — la firme annonce être la première à avoir atteint la puissance faramineuse d’un PétaOp/s sur une puce unique, soit 10¹⁵ opérations par seconde : une première mondiale. Nommée TSP pour Tensor Streaming Processor, sa capacité de calcul en opérations flottantes uniquement chute à 250 TFLOPS, soit un peu moins que 2 Titan RTX utilisant leurs tensors cores. Si vous n’êtes pas familiers avec ces unités, la belle a réussi à fournir la bagatelle de 21 700 inférences par seconde sur le set ResNet-50 v2, le double de l’état de l’art version GPU selon l’entreprise.

Un Groq oui, mais un bien massif !

Cependant, la puce n’est pas si nouvelle : annoncé en novembre 2019, le bousin était alors réservé aux consommateurs triés sur le volet... ce qui évolue lentement, puisque la carte est désormais en accès — restreint à une série présélectionnée de clients — sur la plateforme de calcul dans les nuages Nimbix. Une décision à contre-courant de l’IA mode informatique haute-performance embarquée dans les gadgets type téléphone, IoT et autres voitures autonomes, mais qui témoigne de besoin de puissance toujours aussi croissant des entreprises. Effectuer l’entraînement sur une ferme de calcul pour utiliser le modèle par la suite directement par le client : un retour à l'architecture de type client-serveur pour l'IA ? (Source : EETimes)