Aller au contenu
Cercle IA Tech · Modèles Un site du réseau Cercle IA Tech

Définition

Mixture of experts : paramètres totaux et actifs

Mistral Large 4 : 1 050 milliards de paramètres, 52 milliards actifs. Ce que signifie un mélange d'experts pour la mémoire et le coût.

Mis à jour le

Un modèle à mélange d'experts (en anglais Mixture of Experts, MoE) possède un très grand nombre de paramètres, mais n'en utilise qu'une fraction pour chaque mot traité. On distingue donc les paramètres totaux (tous ceux qu'il faut stocker) et les paramètres actifs (ceux qui servent réellement pour un jeton). Relevé le 15/11/2026.

Pour juger l’intérêt pratique d’une architecture, confrontez les résultats à une tâche réelle. Les fonctions de comparaison d’ALMA donnent un point d’entrée pour cette démarche ; le nombre de paramètres actifs reste une information d’architecture, pas une note de qualité pour votre dossier.

Le principe

D'après l'article de Hugging Face sur le sujet, un MoE remplace, dans chaque couche, un bloc dense par une couche « creuse » composée de deux éléments :

  • des experts : plusieurs petits réseaux de neurones, en général du même type que le bloc remplacé ;
  • un routeur : un composant appris en même temps que le reste du modèle, qui décide, pour chaque jeton, quels experts activer.

Seuls quelques experts travaillent pour un jeton donné ; les autres sont ignorés. C'est ce qui permet d'avoir beaucoup plus de paramètres que n'en utilise un calcul.

L'exemple de l'article : Mixtral 8x7B compte environ 47 milliards de paramètres au total, car seuls les blocs d'experts sont dupliqués et le reste est partagé ; avec deux experts par jeton, le calcul par jeton se rapproche de celui d'un modèle dense d'environ 12 milliards de paramètres.

Deux modèles Mistral AI, deux situations

Mistral Large 4 Mistral Small 4
Date de sortie (page) 05/11/2026 16/03/2026
Paramètres 1 050 milliards au total, 52 milliards actifs, plus 1,6 milliard pour la vision 119 milliards, dont 6,5 milliards actifs
Architecture « mélange d'experts granulaire », dit la page la page ne dit pas si c'est un MoE
Contexte 1 million de jetons 256 000
Licence Mistral Ecosystem Open Weight License Apache 2.0

Pour Mistral Small 4, la page indique « 119 milliards de paramètres dont 6,5 milliards actifs » : la formule ressemble à celle d'un MoE, mais le mot n'y figure pas, donc nous ne l'affirmons pas.

Ce que ça change, et ce que ça ne change pas

Le calcul par jeton baisse. Hugging Face écrit que cela mène à une inférence « beaucoup plus rapide qu'un modèle dense ayant le même nombre de paramètres ».

La mémoire, non. Le même article précise que tous les paramètres doivent être chargés : pour Mixtral, il faut assez de mémoire vidéo pour contenir un modèle dense de 47 milliards. Pour un modèle de la taille de Mistral Large 4, c'est le total qui compte quand on l'héberge soi-même. Voir quel matériel pour un LLM local pour le calcul de mémoire.

Selon le contexte d'usage. Toujours d'après Hugging Face, les modèles creux conviennent aux traitements à fort débit répartis sur plusieurs machines ; pour un faible débit avec peu de mémoire vidéo, un modèle dense est préférable. Il signale aussi des difficultés : réglage fin plus délicat (risque de surapprentissage), routeur qui favorise quelques experts, coûts de communication entre machines.

Pour choisir un modèle

  • Par API, le nombre de paramètres actifs vous importe peu : comparez les prix publiés, la fenêtre de contexte et la qualité sur vos tests. Voir petit ou grand modèle.
  • Hébergé chez vous, retenez le nombre de paramètres totaux pour dimensionner la mémoire, et les actifs pour estimer la vitesse. Voir poids ouverts ou API.
  • Un chiffre de paramètres ne mesure pas la qualité : seuls vos tests la mesurent.

La gamme complète de l'éditeur est détaillée dans modèles Mistral.

Questions fréquentes

Que veut dire « 52 milliards de paramètres actifs » ?

À chaque jeton traité, le modèle n'utilise qu'une partie de ses paramètres. Pour Mistral Large 4, la documentation indique 52 milliards de paramètres actifs sur 1 050 milliards au total.

Un modèle à mélange d'experts demande-t-il moins de mémoire ?

Non. Hugging Face rappelle que tous les paramètres doivent être chargés en mémoire : la mémoire requise correspond au modèle complet, seul le calcul par jeton diminue.

Le prix par jeton en API dépend-il du nombre de paramètres actifs ?

Les pages lues ne l'indiquent pas. Les éditeurs fixent leurs tarifs eux-mêmes ; seul le tarif publié compte.

Sources

Pages consultées pour écrire cet article :

  1. https://alma.iarche.fr/fr/features
  2. https://huggingface.co/blog/moe
  3. https://docs.mistral.ai/models/mistral-large-4-0
  4. https://docs.mistral.ai/models/mistral-small-4-0-26-03

À lire aussi