Guide
Benchmarks LLM : MMLU, GPQA, SWE-bench, HLE expliqués
Ce que mesurent les benchmarks cités dans les annonces de modèles (MMLU, GPQA, SWE-bench, Humanity's Last Exam) et pourquoi un score ne suffit pas.
Mis à jour le
Un benchmark de LLM (grand modèle de langage) est un jeu de questions ou de tâches standardisé, noté automatiquement, qui permet de comparer des modèles sur un même terrain. Les annonces de modèles en citent beaucoup. Les plus courants mesurent des connaissances générales (MMLU), des questions d'experts en sciences (GPQA), la résolution de vrais problèmes de code (SWE-bench) ou des questions de niveau recherche (Humanity's Last Exam). Un score dit qu'un modèle réussit ce test-là ; il ne dit pas comment il traitera vos tâches.
Cercle IA Tech est édité par IArche, qui édite ALMA, la plateforme IA pour PME.
Les benchmarks les plus cités
| Benchmark | Publié le | Ce qu'il contient | Ce qu'il mesure |
|---|---|---|---|
| MMLU | 07/09/2020 | 57 tâches : mathématiques élémentaires, histoire des États-Unis, informatique, droit… | La précision sur un large éventail de matières |
| GPQA | 20/11/2023 | 448 questions à choix multiples en biologie, physique et chimie | Des questions d'experts conçues pour résister à une recherche sur internet |
| SWE-bench | 10/10/2023 | 2 294 problèmes tirés de vrais tickets et demandes de modification de 12 projets Python populaires | La capacité à modifier un code existant pour résoudre un problème signalé |
| Humanity's Last Exam (HLE) | 24/01/2025 | 2 500 questions de dizaines de matières, à choix multiples ou à réponse courte | Des questions de niveau recherche, rédigées par des spécialistes, dont la réponse est vérifiable |
Les dates sont celles de la première mise en ligne des articles de recherche correspondants.
Ce que chacun apprend vraiment
MMLU a longtemps servi de référence. Les auteurs de Humanity's Last Exam expliquent qu'il ne permet plus de suivre les progrès : les modèles y dépassent 90 % de réussite. Un score MMLU élevé est devenu la norme, pas un signe distinctif.
GPQA a été conçu pour que la recherche en ligne n'aide pas : des experts titulaires ou en préparation d'un doctorat dans la discipline y obtiennent 65 % (74 % en écartant les erreurs qu'ils ont reconnues après coup), alors que des non-spécialistes très qualifiés, avec un accès libre à internet et plus de 30 minutes par question en moyenne, n'atteignent que 34 %.
SWE-bench se rapproche du travail réel d'un développeur : le modèle reçoit le code d'un projet et la description d'un problème, et doit modifier le code pour le résoudre, souvent dans plusieurs fichiers. Lors de sa publication, le meilleur modèle testé n'en résolvait qu'environ 1,96 %. Le site officiel propose plusieurs variantes : Verified, Lite, Multilingual, Multimodal.
Humanity's Last Exam a été créé pour remplacer les tests saturés, avec des questions dont la réponse ne se trouve pas rapidement en ligne. Ses auteurs rapportent une faible précision des meilleurs modèles à sa publication.
Les indices composites
Plutôt qu'un seul test, certains sites combinent plusieurs benchmarks en un indice. Artificial Analysis, par exemple, réunit au 15/11/2026 neuf évaluations en quatre catégories (travail intellectuel, code, sciences, général), dont Terminal-Bench pour les tâches en ligne de commande et une version de Humanity's Last Exam. Il précise que cet indice est principalement textuel et en anglais. Voir classements LLM.
Pourquoi un score ne suffit pas
- La langue : la plupart de ces tests sont en anglais. Un modèle peut être plus ou moins à l'aise en français, et sur le vocabulaire de votre métier.
- Le format : un QCM noté automatiquement ne mesure ni la qualité d'un courriel, ni la fidélité d'un résumé, ni le respect d'une consigne de ton.
- La saturation : quand tous les modèles récents dépassent 90 %, un écart de deux points ne dit plus grand-chose.
- Les conditions : un score dépend des consignes, du nombre d'essais et du niveau de réflexion utilisés. Artificial Analysis, par exemple, note un seul essai par question, sans exemple fourni, et publie ses réglages ; les chiffres des annonces d'éditeurs ne sont pas toujours obtenus dans les mêmes conditions.
Votre propre benchmark
La documentation d'Anthropic recommande de créer des tests propres à votre usage, avec vos vraies consignes et vos vraies données, et de comparer la justesse, la qualité et le traitement des cas limites. C'est un benchmark à votre échelle : quelques dizaines d'exemples réels, avec la réponse attendue, donnent déjà une base pour départager deux ou trois candidats. Prenons, à titre d'illustration, un syndic de copropriété qui veut extraire les informations clés de ses contrats de prestataires : il prend une trentaine de contrats déjà traités à la main, et compare ce que chaque modèle en tire avec ce qui avait été saisi. Méthode complète : quel LLM choisir.
Questions fréquentes
Que veut dire « benchmark saturé » ?
Que les meilleurs modèles y obtiennent des scores si hauts que le test ne permet plus de les départager. Les auteurs de Humanity's Last Exam notent que les modèles dépassent 90 % de réussite sur MMLU.
Un bon score à SWE-bench garantit-il un bon assistant de code ?
Non. SWE-bench mesure la résolution de tickets réels sur des projets Python publics ; votre code, vos outils et vos conventions sont différents. C'est un indice, à confirmer sur vos propres tickets.
Sources
Pages consultées pour écrire cet article :