LE PARCOURS · Intermédiaire
Le Mixture of Experts spécialise le calcul sans alourdir l’inférence
Un routeur n’active que quelques experts par jeton. Simulez le routage Top-K et le collapse, et distinguez paramètres totaux et actifs.
Dense contre épars
Dans un Transformer dense, chaque mot généré active 100 % des milliards de paramètres du modèle. L’architecture MoE (Mixture of Experts) remplace les couches feed-forward, qui concentrent environ les deux tiers des poids, par un ensemble d’experts indépendants pilotés par un routeur.
Pour chaque jeton, le routeur ne sélectionne que les K meilleurs experts (sparse top-K, souvent 1 ou 2). Mixtral 8×7B offre ainsi les connaissances d’environ 46,7 milliards de paramètres tout en n’en activant qu’environ 13 milliards par jeton ; DeepSeek-V3 active 37 milliards de paramètres sur 671 milliards au total.
ŷ = Σ G(x)ᵢ · Eᵢ(x) pour les i du Top-K
L_aux ∝ Σ [ (P(G(x)ᵢ) − 1/N)² + (fᵢ − 1/N)² ]
Analogie du Tome 1 : l’hôpital général
Un modèle dense est un médecin généraliste qui tente de tout résoudre seul. Un MoE est un grand hôpital : à l’accueil, un trieur (le routeur) examine chaque patient (chaque jeton) et l’oriente vers les deux spécialistes compétents.
Sans perte auxiliaire à l’entraînement, le routeur devient paresseux : un expert « superstar » capte tout le trafic et les autres s’atrophient. C’est le collapse de routage.
À vous de jouer
Sélectionnez un jeton et observez quels experts s’activent. Passez ensuite en mode « sans perte auxiliaire » pour provoquer le collapse. Les scores de routage sont des exemples écrits à la main, et les noms de spécialités sont une simplification : dans un vrai modèle, les experts ne se rangent pas aussi proprement.
Atelier interactif
Simulateur de routage Top-K et de collapse
Modèle jouet : il illustre le mécanisme avec de petits exemples, il ne mesure pas un modèle réel.
À retenir
- Un modèle MoE sépare la capacité de connaissance (paramètres totaux) du coût de calcul par jeton (paramètres actifs).
- L’empreinte en VRAM reste dictée par les paramètres totaux : tous les experts doivent rester prêts en mémoire.
- Comparer un MoE « 47B » à un modèle dense sans distinguer paramètres totaux et actifs induit en erreur.
VALIDATION
Vérifiez votre compréhension
Quel avantage concret et quelle contrainte matérielle caractérisent un modèle MoE sparse comme Mixtral 8×7B en inférence ?