Une IA entraînée par une IA lancée sur Quake III

Après le très médiatisé tournoi de Go de l'IA de Google - enfin, Alphabet - nommée DeepMind ne s'en est pas arrêté là. Nous avions vu il y a quelques années déjà une branche qui avait évolué dans le domaine de la reconnaissance d'images, c'est désormais d'un retour vers les jeux dont il est question.

Dans un article du prestigieux journal Science, l'IA est parvenue à surpasser des humains dans Quake III Arena en mode capture de drapeau, et ce grâce à un apprentissage par renforcement, dans lequel la machine a du se gérer toute seule. Point de jeu de données indiquant des stratégies gagnantes, le programme a évolué tout seul - à la manière d'un joueur novice nous diriez-vous. Au départ, les agents effectuaient des actions au hasard, puis se sont spécialisés en fonction des objectifs atteints lors d'entrainements IA vs IA, lesdits objectifs étant évalués par un réseau de neurones récurent, qui permet de prendre en compte les signaux de victoire ou de défaite accumulés tout au long de la partie. L'intérêt de la capture de drapeau est alors clair : faciliter l'entraînement. Les chercheurs ont en effet remarqué que le simple score de mort ou de victoires est trop peu clair pour réussir à faire évoluer significativement le programme, et pour cause : il est plus difficile en évoluant aléatoirement de tuer quelqu'un que de récupérer le drapeau ! Pour éviter tout risque de triche, l'équipe gérée par l'ordinateur utilise des agents à la place des joueurs : cloisonnés les uns des autres, aucune donnée ne peut communiquer, histoire de se rapprocher un maximum de l'équivalent humain.

Campeur noob, cyka blyat

Certaines techniques nommées métaoptimisations ont également été employées. Assez simple dans leur principe, elles consistent à forcer une sélection des meilleurs agents toutes les milliers d’entraînements, en remplaçant ceux dont les chances de victoires sont inférieures à 70% par le meilleur agent du groupe.

La méthode a semble-t-il porté ses fruits, car l'IA a réussi a atteindre un niveau comparable aux joueurs pros et même les battre sur une carte connue. Néanmoins, sur une carte qu'ils n'avaient jamais vue auparavant, les robots n'ont pas sû s'adapter aux humains, qui eux ont décidé de se concentrer sur les points faibles du parcours des IA. Bientôt dans nos consoles pour gérer les adversaires des aventures solos ? (Source : IEEE Spectrum)

Vers un nouveau remake ?