O PERCURSO · Intermediário

O Mixture of Experts especializa o cálculo sem pesar na inferência

Um roteador ativa apenas alguns especialistas por token. Simule o roteamento Top-K e o colapso, e distinga parâmetros totais e ativos.

8 min de leituraVolume I · capítulo 7

Denso versus esparso

Em um Transformer denso, cada palavra gerada ativa 100 % dos bilhões de parâmetros do modelo. A arquitetura MoE (Mixture of Experts, ou mistura de especialistas) substitui as camadas feed-forward, que concentram cerca de dois terços dos pesos, por um conjunto de especialistas independentes controlados por um roteador.

Para cada token, o roteador seleciona apenas os K melhores especialistas (sparse top-K, geralmente 1 ou 2). O Mixtral 8×7B oferece assim o conhecimento de cerca de 46,7 bilhões de parâmetros, ativando apenas cerca de 13 bilhões por token; o DeepSeek-V3 ativa 37 bilhões de parâmetros de um total de 671 bilhões.

ŷ = Σ G(x)ᵢ · Eᵢ(x)   para os i do Top-K
L_aux ∝ Σ [ (P(G(x)ᵢ) − 1/N)² + (fᵢ − 1/N)² ]

Analogia do Volume 1: o hospital geral

Um modelo denso é um clínico geral que tenta resolver tudo sozinho. Um MoE é um grande hospital: na recepção, um triador (o roteador) examina cada paciente (cada token) e o encaminha aos dois especialistas competentes.

Sem perda auxiliar no treinamento, o roteador fica preguiçoso: um especialista « superstar » capta todo o tráfego e os outros se atrofiam. É o colapso de roteamento.

Sua vez

Selecione um token e observe quais especialistas são ativados. Passe então para o modo « sem perda auxiliar » para provocar o colapso. Os scores de roteamento são exemplos escritos à mão, e os nomes das especialidades são uma simplificação: em um modelo real, os especialistas não se organizam de forma tão limpa.

Oficina interativa

Simulador de roteamento Top-K e colapso

Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.

Para guardar

  • Um modelo MoE separa a capacidade de conhecimento (parâmetros totais) do custo de cálculo por token (parâmetros ativos).
  • A pegada em VRAM continua ditada pelos parâmetros totais: todos os especialistas precisam permanecer prontos na memória.
  • Comparar um MoE « 47B » a um modelo denso sem distinguir parâmetros totais e ativos induz ao erro.

VALIDAÇÃO

Verifique sua compreensão

A validar

Que vantagem concreta e que restrição de hardware caracterizam um modelo MoE esparso como o Mixtral 8×7B na inferência?