Mistral 7B : la start-up française frappe fort avec un modèle compact

Fondée à Paris en 2023, Mistral AI publie quelques mois plus tard un modèle de 7 milliards de paramètres qui surpasse des concurrents bien plus grands.

Dans le rapport technique « Mistral 7B », l'équipe de Mistral AI décrit un modèle de langage de 7 milliards de paramètres, publié en accès libre sous licence Apache 2.0.

Plusieurs choix d'architecture visent à accélérer la génération et à réduire la mémoire nécessaire, notamment une attention à fenêtre glissante. Selon le rapport, Mistral 7B dépasse le modèle Llama 2 de 13 milliards de paramètres sur l'ensemble des tests évalués.

La publication a placé Mistral AI parmi les acteurs majeurs de l'IA générative en Europe et relancé l'intérêt pour les modèles compacts, capables de fonctionner sur un seul processeur graphique.