Llama 3 : Meta détaille la fabrication de sa famille de modèles ouverts
En 2024, Meta publie un long rapport sur l'entraînement et l'évaluation de Llama 3, dont la plus grande version compte 405 milliards de paramètres.
Le rapport « The Llama 3 Herd of Models » décrit des modèles de 8, 70 et 405 milliards de paramètres, entraînés sur environ 15 000 milliards de mots et fragments de mots, un volume bien supérieur à celui des générations précédentes.
Meta y détaille ses choix : une architecture Transformer classique plutôt que des variantes plus exotiques, un important travail de qualité des données, et un ajustement par retours humains. Selon le rapport, le plus grand modèle rivalise avec les meilleurs modèles fermés de l'époque sur de nombreux tests.
Les poids des modèles sont diffusés publiquement, sous une licence qui comporte certaines restrictions. Le rapport est l'un des plus détaillés jamais publiés sur l'entraînement d'un grand modèle de langage.
Sources
- The Llama 3 Herd of Models — arXiv