Les « lois d'échelle » qui ont guidé la course aux grands modèles

En 2020, des chercheurs d'OpenAI mesurent comment la performance d'un modèle de langage progresse avec sa taille, ses données et la puissance de calcul.

L'article « Scaling Laws for Neural Language Models » établit que l'erreur d'un modèle de langage diminue de façon régulière, selon des lois de puissance, à mesure que l'on augmente le nombre de paramètres, la quantité de données et le calcul consacré à l'entraînement.

Les auteurs en tirent des recommandations pratiques : pour un budget de calcul donné, il vaut mieux entraîner un modèle plus grand, sans forcément le mener jusqu'à la convergence. Ces relations se vérifient sur plusieurs ordres de grandeur.

Ces travaux ont fourni une justification quantitative aux investissements massifs dans des modèles toujours plus grands. Leurs conclusions sur l'équilibre entre taille et données ont été révisées deux ans plus tard par DeepMind avec le modèle Chinchilla.