InstructGPT : les retours humains au cœur de l'entraînement

En 2022, OpenAI détaille la méthode qui a transformé un modèle de langage brut en assistant capable de suivre des consignes, quelques mois avant ChatGPT.

L'article « Training language models to follow instructions with human feedback » décrit InstructGPT. Les chercheurs partent de GPT-3, qu'ils ajustent d'abord sur des exemples rédigés par des annotateurs, puis par apprentissage par renforcement à partir du classement de ses réponses par des humains.

Le résultat est frappant : les évaluateurs préfèrent les réponses d'un InstructGPT de 1,3 milliard de paramètres à celles du GPT-3 de 175 milliards. Le modèle suit mieux les consignes et invente moins de faits, même si des progrès restent à faire.

Cette méthode, dite RLHF, a servi de base à ChatGPT, lancé en novembre 2022, puis à la plupart des assistants conversationnels.