GPT-3 : l'apprentissage à partir de quelques exemples

En 2020, OpenAI présente un modèle de 175 milliards de paramètres capable d'accomplir une tâche nouvelle à partir de quelques exemples glissés dans la consigne.

« Language Models are Few-Shot Learners » décrit GPT-3, un modèle dix fois plus grand que les précédents modèles de langage non spécialisés. Sa particularité : il n'a pas besoin d'être réentraîné pour une nouvelle tâche. Il suffit de lui montrer quelques exemples dans le texte de la consigne.

Les chercheurs évaluent cette capacité sur des dizaines de tâches, de la traduction à l'arithmétique simple, et observent qu'elle progresse fortement avec la taille du modèle. Ils documentent aussi ses limites, ses biais et les risques d'usage abusif.

GPT-3 a été rendu accessible par une interface de programmation et a donné naissance à une première vague de produits fondés sur les grands modèles de langage, deux ans avant ChatGPT.