DeepSeek-V3 : un modèle de premier plan pour un coût d'entraînement annoncé très bas

Fin 2024, le laboratoire chinois DeepSeek publie un modèle à « mélange d'experts » qui rivalise avec les leaders, et affirme l'avoir entraîné pour une fraction de leur coût.

Le « DeepSeek-V3 Technical Report » décrit un modèle de 671 milliards de paramètres dont seule une petite partie, environ 37 milliards, est sollicitée pour chaque mot produit. Cette architecture dite de mélange d'experts réduit fortement le calcul nécessaire.

Les auteurs affirment que l'entraînement complet a demandé environ 2,8 millions d'heures de processeurs graphiques H800, soit un coût de quelques millions de dollars en location, un chiffre qui exclut la recherche et les essais préalables. Ils décrivent de nombreuses optimisations, dont l'entraînement en précision réduite.

Publié avec ses poids, DeepSeek-V3 a servi de base au modèle de raisonnement R1, dont la sortie en janvier 2025 a fait vaciller les valeurs technologiques américaines.