Codex : mesurer la capacité d'un modèle à écrire du code

En 2021, OpenAI évalue Codex, le modèle derrière GitHub Copilot, et propose un test devenu une référence pour la programmation automatique.

L'article « Evaluating Large Language Models Trained on Code » présente Codex, un modèle de la famille GPT spécialisé grâce à du code public hébergé sur GitHub. Pour mesurer ses capacités, les auteurs créent HumanEval, une série de problèmes de programmation accompagnés de tests automatiques.

Le principe est de vérifier si le code produit fonctionne réellement, plutôt que de le comparer à une solution de référence. Codex résout une part significative des problèmes, et beaucoup plus lorsqu'on lui permet de proposer plusieurs solutions.

L'article analyse aussi les limites du modèle et ses risques, notamment la production de code non sécurisé. Codex a alimenté GitHub Copilot, l'un des premiers assistants de programmation à grande échelle.