GPT-2 : quand un modèle de langage apprend plusieurs tâches sans les avoir étudiées
En 2019, OpenAI montre qu'un modèle entraîné seulement à prédire le mot suivant peut traduire, résumer ou répondre à des questions sans entraînement spécifique.
Dans « Language Models are Unsupervised Multitask Learners », les chercheurs d'OpenAI présentent GPT-2, un modèle de 1,5 milliard de paramètres entraîné sur des millions de pages web. Sa seule consigne d'apprentissage consiste à prédire le mot suivant d'un texte.
L'article montre que cette tâche unique suffit à faire émerger des compétences variées : le modèle obtient des résultats honorables en traduction, en résumé ou en réponse à des questions, sans avoir été spécialement entraîné pour chacune. Les performances progressent nettement avec la taille du modèle.
La publication a aussi marqué les esprits par sa diffusion progressive : OpenAI a d'abord retenu la version la plus grande, invoquant les risques de détournement, avant de la publier quelques mois plus tard. Le débat sur la publication des modèles puissants date en grande partie de cet épisode.