SWE-bench : les modèles de langage face à de vrais bugs logiciels

Des chercheurs de Princeton créent un test fondé sur de vrais tickets GitHub, devenu la référence pour évaluer les agents de programmation.

Les tests de programmation classiques demandaient d'écrire une petite fonction isolée. « SWE-bench », présenté à la conférence ICLR 2024, confronte les modèles à plus de 2 000 problèmes réels tirés de dépôts Python populaires, avec leur description et le code complet du projet.

Le modèle doit produire une modification qui résout le problème, vérifiée par les tests du projet. Lors de la publication, les meilleurs modèles ne résolvaient qu'une très faible part des cas.

SWE-bench est depuis devenu l'indicateur de référence pour les assistants de programmation, avec des déclinaisons comme SWE-bench Verified. Les scores ont progressé très rapidement avec l'arrivée des agents.