Chinchilla : DeepMind montre que les grands modèles manquaient de données
En 2022, DeepMind révise les règles de dimensionnement des modèles de langage : à budget égal, mieux vaut un modèle plus petit nourri de beaucoup plus de textes.
L'article « Training Compute-Optimal Large Language Models » entraîne plus de quatre cents modèles de tailles et de volumes de données différents pour répondre à une question pratique : comment répartir un budget de calcul entre la taille du modèle et la quantité de texte d'entraînement.
La conclusion contredit la tendance de l'époque. Selon les auteurs, taille et données doivent croître dans les mêmes proportions. Leur modèle Chinchilla, de 70 milliards de paramètres entraîné sur bien plus de données, surpasse des modèles quatre fois plus grands, comme Gopher.
Ces « lois de Chinchilla » ont réorienté l'industrie vers des modèles plus compacts, entraînés plus longtemps, donc moins coûteux à faire fonctionner.