BERT, le modèle de Google qui apprend à lire dans les deux sens

Présenté à la conférence NAACL en 2019, BERT a changé la manière d'entraîner les modèles de langage en les faisant lire chaque mot à la lumière de tout ce qui l'entoure.

Les chercheurs de Google AI qui signent BERT (Bidirectional Encoder Representations from Transformers) partent d'un constat simple : les modèles de langage de l'époque lisaient un texte de gauche à droite, ou combinaient deux lectures séparées. BERT, lui, est préentraîné à deviner des mots masqués dans une phrase en s'appuyant à la fois sur ce qui précède et sur ce qui suit.

Ce préentraînement sur de grands volumes de texte produit une base générale, que l'on adapte ensuite à une tâche précise avec peu de données : réponse à des questions, classification de phrases, reconnaissance d'entités. L'article publié dans l'ACL Anthology montre des gains nets sur la plupart des tests de référence du moment.

BERT a rapidement été intégré au moteur de recherche de Google et a inspiré une longue série de variantes. Il reste l'une des publications les plus citées de l'histoire récente du traitement automatique des langues.