LLaMA : Meta mise sur des modèles plus petits mais mieux entraînés

En février 2023, Meta présente une famille de modèles de langage de 7 à 65 milliards de paramètres, entraînés uniquement sur des données publiques.

L'article « LLaMA: Open and Efficient Foundation Language Models » part du principe défendu par les travaux sur Chinchilla : à coût d'usage égal, un modèle plus petit entraîné sur davantage de données est préférable.

Selon les auteurs, le modèle de 13 milliards de paramètres dépasse GPT-3 sur la plupart des tests, et le plus grand rivalise avec les meilleurs modèles de l'époque. Seules des données accessibles publiquement ont été utilisées.

D'abord réservé aux chercheurs, LLaMA a rapidement circulé hors de ce cadre. Il a lancé l'écosystème des modèles à poids ouverts, que Meta a ensuite assumé avec Llama 2 et Llama 3.