EL RECORRIDO · Intermedio
Mixture of Experts especializa el cálculo sin encarecer la inferencia
Un enrutador activa solo unos pocos expertos por token. Simula el enrutamiento Top-K y el colapso, y distingue parámetros totales y activos.
Denso frente a disperso
En un Transformer denso, cada palabra generada activa el 100 % de los miles de millones de parámetros del modelo. La arquitectura MoE (Mixture of Experts, o mezcla de expertos) sustituye las capas feed-forward, que concentran aproximadamente dos tercios de los pesos, por un conjunto de expertos independientes gobernados por un enrutador.
Para cada token, el enrutador selecciona solo los K mejores expertos (sparse top-K, a menudo 1 o 2). Así, Mixtral 8×7B ofrece los conocimientos de unos 46,7 miles de millones de parámetros activando solo unos 13 miles de millones por token; DeepSeek-V3 activa 37 miles de millones de parámetros de un total de 671 miles de millones.
ŷ = Σ G(x)ᵢ · Eᵢ(x) para los i del Top-K
L_aux ∝ Σ [ (P(G(x)ᵢ) − 1/N)² + (fᵢ − 1/N)² ]
Analogía del Tomo 1: el hospital general
Un modelo denso es un médico de cabecera que intenta resolverlo todo solo. Un MoE es un gran hospital: en la recepción, un clasificador (el enrutador) examina a cada paciente (cada token) y lo orienta hacia los dos especialistas competentes.
Sin una pérdida auxiliar durante el entrenamiento, el enrutador se vuelve perezoso: un experto « superestrella » capta todo el tráfico y los demás se atrofian. Es el colapso de enrutamiento.
Ahora te toca
Selecciona un token y observa qué expertos se activan. Pasa después al modo « sin pérdida auxiliar » para provocar el colapso. Las puntuaciones de enrutamiento son ejemplos escritos a mano, y los nombres de las especialidades son una simplificación: en un modelo real, los expertos no se ordenan tan limpiamente.
Taller interactivo
Simulador de enrutamiento Top-K y colapso
Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.
Lo esencial
- Un modelo MoE separa la capacidad de conocimiento (parámetros totales) del coste de cálculo por token (parámetros activos).
- La huella en VRAM sigue dictada por los parámetros totales: todos los expertos deben permanecer listos en memoria.
- Comparar un MoE « 47B » con un modelo denso sin distinguir parámetros totales y activos induce a error.
VALIDACIÓN
Comprueba lo que has entendido
¿Qué ventaja concreta y qué restricción de hardware caracterizan a un modelo MoE disperso como Mixtral 8×7B en inferencia?