SWE-Bench Pro : un nouveau test de programmation passé au crible

En 2025, l'institut Epoch AI analyse ce que mesure réellement SWE-Bench Pro, une version plus exigeante du test de référence des agents de programmation.

Les tests de programmation pour l'IA se saturent rapidement, à mesure que les modèles progressent. SWE-Bench Pro a été conçu pour poser des problèmes plus longs et plus variés, tirés de projets réels.

Dans sa revue, Epoch AI examine la portée et les limites de ce test : nature des tâches, risques que les solutions figurent déjà dans les données d'entraînement des modèles, et façon dont les scores doivent être interprétés.

L'analyse rappelle une difficulté récurrente de l'évaluation de l'IA : un score élevé sur un test ne garantit pas une compétence équivalente sur des projets réels.