MuZero : DeepMind apprend à gagner sans connaître les règles du jeu

Après AlphaGo et AlphaZero, DeepMind présente en 2019 un programme qui maîtrise les échecs, le go, le shogi et les jeux Atari en construisant lui-même un modèle du jeu.

AlphaZero avait besoin des règles de chaque jeu pour planifier ses coups. MuZero, décrit dans l'article « Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model », s'en passe : il apprend un modèle interne qui prédit seulement ce qui compte pour décider, à savoir la récompense, la valeur d'une position et le meilleur coup.

Le programme planifie ensuite à l'intérieur de ce modèle appris. Il égale les performances d'AlphaZero au go, aux échecs et au shogi, et établit de nouveaux records sur la série de jeux vidéo Atari utilisée comme banc d'essai.

Au-delà du jeu, l'intérêt est de taille : de nombreux problèmes réels, de la robotique à la gestion d'infrastructures, n'ont pas de règles connues à l'avance. L'article a été publié l'année suivante dans la revue Nature.