L'IA orchestre des ventilateurs PC pour jouer de la musique

À l’intérieur de votre ordinateur, vous cherchez certainement à rendre les ventilateurs inaudibles, ou en tout cas le moins bruyants possible. Ce n’est pas l’approche de Holly Herndon et Mat Dryhurst ; ces deux artistes ont conçu un The Call, un « orgue GPU qui joue de la musique acoustique en contrôlant le régime de chaque ventilateur ».

Des ventilateurs mélodieux, ce n'est pas du pipeau

Soyons honnêtes, nous n’avons percé tous les ressorts de ce projet. Déjà, parler de musique acoustique interloque ; au sens littéral du terme, cela désigne une musique jouée sur des instruments non électrifiés et dont les sonorités ne sont pas modifiées par ordinateur. Or, jusqu’à preuve du contraire, les ventilateurs ne fonctionnent pas par l’opération du Saint-Esprit ; et ne parlons pas de l’IA mise en avant de le projet. En outre, le terme « d’orgue GPU » du tweet paraît volontairement raccourci, presque métonymique. Une chose est sûre, sur l’image d’illustration, il n’y pas un GPU derrière chacun des ventilateurs.

Our GPU organ plays music acoustically by controlling the RPM of each fan

The Call is now open to the public until February @SerpentineUK in Hyde Park London pic.twitter.com/0wQHMnvNQ2

— Holly Herndon (@hollyherndon) October 5, 2024

Dans une série de messages postés sur le réseau social X, Holly Herndon explique que cette œuvre « joue de la musique générée par un modèle de diffusion qui crée de nouvelles chansons à partir des données d'entraînement (volontaires) de chorales de tout le Royaume-Uni. Il contient un modèle symbolique de génération de partitions d'IA encastré dans du laiton, qui peut générer une infinité de partitions à jouer ».

Un autre message précise que « l'ensemble de données est désormais le plus important dont disposent les chercheurs ». L’artiste ajoute qu’ « il a été mis à l'épreuve en enregistrant chaque chœur de manière ambisonique [le terme désigne ici une une technique de capture avec des dizaines de capteurs visant à récréer une sphère complète] [...]. Cet ensemble de données est la propriété des chœurs en question grâce à une nouvelle structure de propriété intellectuelle que nous avons créée avec l'équipe de @SerpentineUK Future Art Ecosystems pour permettre la propriété commune des données d'intelligence artificielle […]. Il a été utilisé pour entraîner un nouveau modèle d'appel et de réponse polyphonique, développé avec l'@Ircam , qui permet de chanter pour le modèle et de recevoir une réponse en retour ». Voici une démo ; mais soyez prévenus, le résultat n’est pas vraiment mélodieux :

It was used to train a new polyphonic call and response model, developed with @Ircam, that allows you to sing to the model and receive a response back pic.twitter.com/XYY5mKtfd2

— Holly Herndon (@hollyherndon) October 5, 2024

La page du site Serpentine consacrée à ce projet nous apprend que pour « pour former l'IA, Herndon et Dryhurst ont composé un recueil de cantiques, des exercices de chant et un protocole d'enregistrement. Ils ont voyagé avec l'équipe de Serpentine Arts Technologies pour enregistrer quinze chorales communautaires à travers le Royaume-Uni ».

Quant à la vidéo ci-dessous mise en ligne hier, elle ne diffuse pas forcément beaucoup plus d'informations. Mat Dryhurst précise simplement que le système mobilise 120 ventilateurs (pourtant, la photographie montre quatre rangés de 24 moulins, soit 96 en tout ; peut-être qu’une rangée dissimulée nous ne savons trop où permet de monter à 120).

Si cette œuvre a titillé votre curiosité et que vous passez par Londres, vous pouvez l’admirez aux Serpentine Galleries jusqu’en février 2025. Le cas échéant, votre mission, si vous l'acceptez, sera de trouver et de photographier les fameux GPU de cet « orgue GPU ».