DeepSeek-R1 : le raisonnement appris par renforcement
En janvier 2025, DeepSeek publie un modèle de raisonnement aux performances proches des meilleurs, entraîné en grande partie par apprentissage par renforcement.
L'article « DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning » décrit comment le laboratoire chinois a développé la capacité de raisonnement de son modèle. Une première version, R1-Zero, est entraînée uniquement par renforcement, en récompensant les bonnes réponses à des problèmes vérifiables.
Les chercheurs observent l'apparition spontanée de comportements de raisonnement, comme la vérification ou la remise en question d'une étape. La version finale ajoute quelques données soigneusement choisies pour rendre les réponses plus lisibles.
Publié avec ses poids, R1 rivalise avec les modèles de raisonnement d'OpenAI sur les tests de mathématiques et de programmation. Sa sortie a provoqué une forte baisse des valeurs technologiques américaines. L'article a ensuite été publié dans Nature.