Aller au contenu
Cercle IA Tech · Modèles Un site du réseau Cercle IA Tech

Question

Un LLM est-il aussi bon en français qu'en anglais ?

Les scores multilingues publiés par Anthropic au 15/11/2026, ce qu'ils mesurent et la méthode pour tester un modèle sur vos textes en français.

Mis à jour le

Pour les grands modèles récents, l'écart entre le français et l'anglais est faible sur les tests publiés, mais ces tests portent sur des questions à choix multiples, pas sur vos courriers, vos contrats ou votre vocabulaire de métier. La bonne réponse est donc : les chiffres rassurent, votre propre test tranche. Relevé le 15/11/2026.

Les fonctions de comparaison d’ALMA peuvent servir de point de départ pour examiner les deux langues sur une même tâche. Préparez des critères communs, mais faites relire chaque version par une personne capable d’en juger les nuances.

Ce qu'Anthropic publie

La documentation d'Anthropic donne les résultats de ses modèles sur Global-MMLU, une version du test MMLU étendue à 42 langues. Chaque score est un pourcentage du score du même modèle en anglais. Pour le français :

Modèle Français (en % du score anglais)
Claude Fable 5.2 99,6 %
Claude Opus 5.5 99,3 %
Claude Sonnet 5.5 98,7 %
Claude Haiku 5.5 97,7 %

Lecture : plus le modèle est petit, plus l'écart avec l'anglais se creuse, mais il reste de l'ordre de deux points pour Haiku 5.5. Pour les langues moins répandues, il est plus net : le yoruba tombe à 87,0 % pour Haiku 5.5. Ces scores utilisent la réflexion adaptative au niveau d'effort maximal, et au plus 1,7 % des questions sont exclues.

Trois réserves, toutes de la documentation elle-même :

  • le tableau sert à comparer les langues au sein d'un modèle, pas à classer les modèles entre eux ;
  • une différence de moins d'un point environ est du bruit de mesure ;
  • Claude fonctionne dans bien d'autres langues que celles du tableau : à tester selon vos besoins.

Ce qu'on ne trouve pas chez les autres

Sur les pages lues, Google ne chiffre pas la qualité en français de ses modèles de texte ; il indique seulement des nombres de langues pour des modèles audio (Gemini 3.8 Flash TTS « dans 130 langues », Gemini 3.5 Live Translate « 70+ langues »). La page de Mistral AI sur Mistral Large 4 ne liste pas non plus les langues prises en charge, et la page d'ensemble ne parle de langues que pour la synthèse vocale Voxtral TTS 3 (« 35+ langues et 50+ dialectes »). Faute de page officielle chiffrée, aucune comparaison entre éditeurs n'est possible ici ; pour des préférences mesurées en français sur des modèles de plusieurs éditeurs, voir compar:IA.

Forcer la langue de réponse

Anthropic recommande d'indiquer la langue cible dans le message système, qui reste stable sur tous les tours de conversation, plutôt que de compter sur la déduction automatique. Si l'utilisateur choisit sa langue, insérez ce choix dans le message système. Pour une traduction, nommez les deux langues. Autres conseils de la page : écrire dans l'écriture native (pas de translittération) et demander un style « idiomatique, comme un locuteur natif » pour plus de naturel.

Tester dans votre français

  1. Réunissez 20 à 30 textes réels : mails clients, extraits de contrats, fiches produits, avec leur vocabulaire (sigles, noms de produits, tournures régionales).
  2. Posez à chaque modèle candidat les mêmes consignes, sans rien changer.
  3. Faites relire les réponses par une personne qui connaît le métier : registre, vouvoiement, termes exacts, chiffres et dates au format français.
  4. Notez les erreurs par type, pas seulement un score global.

La méthode détaillée est dans quel LLM choisir ; pour des modèles conçus en Europe, LLM français et européens. Côté usage quotidien, la page adapter ou traduire un texte montre comment formuler la consigne.

Questions fréquentes

Quel écart entre le français et l'anglais chez Claude ?

Anthropic publie des scores Global-MMLU exprimés en pourcentage du score anglais du même modèle. Pour le français : 99,6 % (Fable 5.2), 99,3 % (Opus 5.5), 98,7 % (Sonnet 5.5) et 97,7 % (Haiku 5.5).

Peut-on comparer deux modèles avec ce tableau ?

Non. Anthropic précise qu'il sert à comparer les langues au sein d'un même modèle, pas à classer les modèles, et qu'un écart inférieur à environ 1 point est dans le bruit de mesure.

Comment forcer une réponse en français ?

Anthropic conseille de l'écrire dans le message système (« Réponds toujours en français »), plutôt que de laisser le modèle déduire la langue de la question.

Sources

Pages consultées pour écrire cet article :

  1. https://alma.iarche.fr/fr/features
  2. https://platform.claude.com/docs/en/build-with-claude/multilingual-support
  3. https://aistudio.google.com/docs/models
  4. https://docs.mistral.ai/getting-started/models/models_overview/
  5. https://docs.mistral.ai/models/mistral-large-4-0

À lire aussi