EL RECORRIDO · Intermedio

Mixture of Experts especializa el cálculo sin encarecer la inferencia

Un enrutador activa solo unos pocos expertos por token. Simula el enrutamiento Top-K y el colapso, y distingue parámetros totales y activos.

8 min de lecturaTomo I · capítulo 7

Denso frente a disperso

En un Transformer denso, cada palabra generada activa el 100 % de los miles de millones de parámetros del modelo. La arquitectura MoE (Mixture of Experts, o mezcla de expertos) sustituye las capas feed-forward, que concentran aproximadamente dos tercios de los pesos, por un conjunto de expertos independientes gobernados por un enrutador.

Para cada token, el enrutador selecciona solo los K mejores expertos (sparse top-K, a menudo 1 o 2). Así, Mixtral 8×7B ofrece los conocimientos de unos 46,7 miles de millones de parámetros activando solo unos 13 miles de millones por token; DeepSeek-V3 activa 37 miles de millones de parámetros de un total de 671 miles de millones.

ŷ = Σ G(x)ᵢ · Eᵢ(x)   para los i del Top-K
L_aux ∝ Σ [ (P(G(x)ᵢ) − 1/N)² + (fᵢ − 1/N)² ]

Analogía del Tomo 1: el hospital general

Un modelo denso es un médico de cabecera que intenta resolverlo todo solo. Un MoE es un gran hospital: en la recepción, un clasificador (el enrutador) examina a cada paciente (cada token) y lo orienta hacia los dos especialistas competentes.

Sin una pérdida auxiliar durante el entrenamiento, el enrutador se vuelve perezoso: un experto « superestrella » capta todo el tráfico y los demás se atrofian. Es el colapso de enrutamiento.

Ahora te toca

Selecciona un token y observa qué expertos se activan. Pasa después al modo « sin pérdida auxiliar » para provocar el colapso. Las puntuaciones de enrutamiento son ejemplos escritos a mano, y los nombres de las especialidades son una simplificación: en un modelo real, los expertos no se ordenan tan limpiamente.

Taller interactivo

Simulador de enrutamiento Top-K y colapso

Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.

Lo esencial

  • Un modelo MoE separa la capacidad de conocimiento (parámetros totales) del coste de cálculo por token (parámetros activos).
  • La huella en VRAM sigue dictada por los parámetros totales: todos los expertos deben permanecer listos en memoria.
  • Comparar un MoE « 47B » con un modelo denso sin distinguir parámetros totales y activos induce a error.

VALIDACIÓN

Comprueba lo que has entendido

Por validar

¿Qué ventaja concreta y qué restricción de hardware caracterizan a un modelo MoE disperso como Mixtral 8×7B en inferencia?