Classements LLM : Arena, Artificial Analysis, limites

Les deux classements de LLM (grands modèles de langage) les plus consultés mesurent des choses différentes. Arena (anciennement LMArena) classe les modèles selon les préférences d'internautes qui comparent deux réponses anonymes. Artificial Analysis fait passer à chaque modèle une batterie de tests dans des conditions identiques, et publie aussi la vitesse, le délai de réponse et le prix chez chaque fournisseur. Aucun des deux ne mesure ce que donnera un modèle sur vos documents et vos tâches : ce sont des outils de présélection.

Cercle IA Tech est édité par IArche, qui édite ALMA, la plateforme IA pour PME. Nous décrivons ici les méthodes, sans reprendre de classement.

Arena : le vote à l'aveugle

Le principe, tel que décrit sur sa page « How it works » le 15/11/2026 : en mode duel, l'internaute reçoit les réponses de deux modèles anonymes, vote pour celle qu'il préfère, puis découvre leurs noms. Les votes alimentent des classements publics, et une partie des retours est transmise aux développeurs des modèles. Le service a changé de nom : l'adresse lmarena.ai redirige vers arena.ai.

Arena publie plusieurs classements : général, agents, texte, développement web, vision, documents, recherche, génération d'images et de vidéos, entre autres. La méthode a été décrite dans un article de recherche publié le 07/03/2024 sous le titre « Chatbot Arena » : comparaisons par paires, votes collectés auprès du public (plus de 240 000 à l'époque) et méthodes statistiques de classement.

Ses limites, documentées :

• Une préférence n'est pas une exactitude. Un vote récompense la réponse qui plaît : clarté, ton, mise en forme. Elle peut plaire et contenir une erreur.
• Les essais privés. Un article de recherche publié le 29/04/2025, « The Leaderboard Illusion », relève que certains éditeurs testent en privé plusieurs variantes avant une sortie et ne gardent que le meilleur score ; il cite 27 variantes privées testées par Meta avant la sortie de Llama 4. Il constate aussi que les modèles propriétaires sont proposés plus souvent aux votants que les modèles à poids ouverts.
• Le public et la langue. Les questions sont celles des internautes qui viennent voter, pas celles de votre métier.

Artificial Analysis : les tests standardisés

Artificial Analysis calcule un indice d'intelligence (version 5.0.1 au 15/11/2026), moyenne pondérée de quatre catégories à parts égales :

Tous les modèles passent ces tests dans les mêmes conditions, avec les mêmes consignes, sans exemple fourni, et la méthode est publiée. Le site précise lui-même que l'indice est une suite d'évaluation « principalement textuelle, en anglais », et qu'il peut ne pas s'appliquer directement à chaque usage.

Au-delà de l'intelligence, Artificial Analysis mesure, chez chaque fournisseur :

• la vitesse de sortie : le nombre de jetons reçus par seconde sur toute la durée d'une requête, réflexion comprise ;
• le délai avant le premier jeton, et pour les modèles qui réfléchissent, le délai avant le premier jeton de réponse ;
• un prix combiné, calculé avec un rapport de 7 pour 2 pour 1 entre jetons lus en cache, jetons d'entrée et jetons de sortie.

Ce prix combiné est commode pour comparer, mais votre propre rapport entre entrée et sortie peut être très différent : un résumé de longs documents consomme surtout de l'entrée, une rédaction surtout de la sortie.

Arena ou Artificial Analysis : lequel regarder ?

Le bon usage d'un classement

1. Présélectionner deux ou trois modèles bien placés sur le critère qui vous importe.
2. Vérifier les contraintes que les classements ignorent : fenêtre de contexte, formats d'entrée, lieu de traitement, date de retrait.
3. Tester sur vos cas réels. Les tests derrière les indices sont détaillés sur la page benchmarks LLM ; la construction de votre propre jeu d'essai est décrite dans quel LLM choisir.