O PERCURSO · Intermediário
O Mixture of Experts especializa o cálculo sem pesar na inferência
Um roteador ativa apenas alguns especialistas por token. Simule o roteamento Top-K e o colapso, e distinga parâmetros totais e ativos.
Denso versus esparso
Em um Transformer denso, cada palavra gerada ativa 100 % dos bilhões de parâmetros do modelo. A arquitetura MoE (Mixture of Experts, ou mistura de especialistas) substitui as camadas feed-forward, que concentram cerca de dois terços dos pesos, por um conjunto de especialistas independentes controlados por um roteador.
Para cada token, o roteador seleciona apenas os K melhores especialistas (sparse top-K, geralmente 1 ou 2). O Mixtral 8×7B oferece assim o conhecimento de cerca de 46,7 bilhões de parâmetros, ativando apenas cerca de 13 bilhões por token; o DeepSeek-V3 ativa 37 bilhões de parâmetros de um total de 671 bilhões.
ŷ = Σ G(x)ᵢ · Eᵢ(x) para os i do Top-K
L_aux ∝ Σ [ (P(G(x)ᵢ) − 1/N)² + (fᵢ − 1/N)² ]
Analogia do Volume 1: o hospital geral
Um modelo denso é um clínico geral que tenta resolver tudo sozinho. Um MoE é um grande hospital: na recepção, um triador (o roteador) examina cada paciente (cada token) e o encaminha aos dois especialistas competentes.
Sem perda auxiliar no treinamento, o roteador fica preguiçoso: um especialista « superstar » capta todo o tráfego e os outros se atrofiam. É o colapso de roteamento.
Sua vez
Selecione um token e observe quais especialistas são ativados. Passe então para o modo « sem perda auxiliar » para provocar o colapso. Os scores de roteamento são exemplos escritos à mão, e os nomes das especialidades são uma simplificação: em um modelo real, os especialistas não se organizam de forma tão limpa.
Oficina interativa
Simulador de roteamento Top-K e colapso
Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.
Para guardar
- Um modelo MoE separa a capacidade de conhecimento (parâmetros totais) do custo de cálculo por token (parâmetros ativos).
- A pegada em VRAM continua ditada pelos parâmetros totais: todos os especialistas precisam permanecer prontos na memória.
- Comparar um MoE « 47B » a um modelo denso sem distinguir parâmetros totais e ativos induz ao erro.
VALIDAÇÃO
Verifique sua compreensão
Que vantagem concreta e que restrição de hardware caracterizam um modelo MoE esparso como o Mixtral 8×7B na inferência?