LE PARCOURS · Intermédiaire

Le Mixture of Experts spécialise le calcul sans alourdir l’inférence

Un routeur n’active que quelques experts par jeton. Simulez le routage Top-K et le collapse, et distinguez paramètres totaux et actifs.

8 min de lectureTome I · chapitre 7

Dense contre épars

Dans un Transformer dense, chaque mot généré active 100 % des milliards de paramètres du modèle. L’architecture MoE (Mixture of Experts) remplace les couches feed-forward, qui concentrent environ les deux tiers des poids, par un ensemble d’experts indépendants pilotés par un routeur.

Pour chaque jeton, le routeur ne sélectionne que les K meilleurs experts (sparse top-K, souvent 1 ou 2). Mixtral 8×7B offre ainsi les connaissances d’environ 46,7 milliards de paramètres tout en n’en activant qu’environ 13 milliards par jeton ; DeepSeek-V3 active 37 milliards de paramètres sur 671 milliards au total.

ŷ = Σ G(x)ᵢ · Eᵢ(x)   pour les i du Top-K
L_aux ∝ Σ [ (P(G(x)ᵢ) − 1/N)² + (fᵢ − 1/N)² ]

Analogie du Tome 1 : l’hôpital général

Un modèle dense est un médecin généraliste qui tente de tout résoudre seul. Un MoE est un grand hôpital : à l’accueil, un trieur (le routeur) examine chaque patient (chaque jeton) et l’oriente vers les deux spécialistes compétents.

Sans perte auxiliaire à l’entraînement, le routeur devient paresseux : un expert « superstar » capte tout le trafic et les autres s’atrophient. C’est le collapse de routage.

À vous de jouer

Sélectionnez un jeton et observez quels experts s’activent. Passez ensuite en mode « sans perte auxiliaire » pour provoquer le collapse. Les scores de routage sont des exemples écrits à la main, et les noms de spécialités sont une simplification : dans un vrai modèle, les experts ne se rangent pas aussi proprement.

Atelier interactif

Simulateur de routage Top-K et de collapse

Modèle jouet : il illustre le mécanisme avec de petits exemples, il ne mesure pas un modèle réel.

À retenir

  • Un modèle MoE sépare la capacité de connaissance (paramètres totaux) du coût de calcul par jeton (paramètres actifs).
  • L’empreinte en VRAM reste dictée par les paramètres totaux : tous les experts doivent rester prêts en mémoire.
  • Comparer un MoE « 47B » à un modèle dense sans distinguer paramètres totaux et actifs induit en erreur.

VALIDATION

Vérifiez votre compréhension

À valider

Quel avantage concret et quelle contrainte matérielle caractérisent un modèle MoE sparse comme Mixtral 8×7B en inférence ?