O PERCURSO · Intermediário
Interpretabilidade mecanicista de LLMs: guia prático
Entenda como representações, circuitos e intervenções causais ajudam a investigar um LLM — e o que esses métodos ainda não demonstram.
O que a interpretabilidade mecanicista tenta explicar
Um modelo de linguagem transforma tokens em escores para o próximo token. A interpretabilidade mecanicista faz uma pergunta mais exigente que “qual entrada foi importante?”: quais cálculos internos produziram um comportamento e como testar essa explicação? O objetivo é construir explicações sobre representações, componentes e interações e confrontá-las com experimentos controlados.
Um mapa de atenção, uma sonda ou uma narrativa convincente podem revelar um padrão, mas não provam que o modelo o utilizou. Uma investigação útil passa da observação para uma hipótese, depois para uma intervenção e uma medida escolhida antecipadamente.
Das representações às características e aos circuitos
Uma ativação é um valor calculado para uma entrada em um ponto específico da rede. Uma característica é uma direção ou padrão que acompanha informação útil em vários exemplos. Ela pode estar distribuída por muitas coordenadas, enquanto várias características compartilham capacidade por superposição.
Um circuito é um conjunto proposto de componentes e conexões que realiza parte do cálculo. Cabeças de atenção, MLPs e direções no fluxo residual podem participar. Uma hipótese de circuito deve indicar tarefa, locais, informação transmitida, efeito esperado e exemplos de validação.
Principais famílias de métodos
- Sondas verificam se uma informação pode ser decodificada; disponibilidade não significa uso.
- Logit lens e atribuição conectam estados internos aos escores de saída.
- Activation patching transfere um estado entre execuções e mede a restauração de um comportamento.
- Ablação remove ou substitui um componente; redundância pode esconder contribuições reais.
- Autoencoders esparsos aprendem características mais separadas, cuja interpretação e função causal ainda precisam ser avaliadas.
- Descoberta de circuitos procura um subgrafo menor; automatizar a busca não garante fidelidade.
Um exemplo controlado de activation patching
Construa dois prompts comparáveis, escolha uma camada e posição e salve a ativação da condição limpa. Na execução corrompida, substitua apenas esse estado e continue o cálculo. Meça um contraste definido antes do experimento, como a diferença de logits entre dois tokens candidatos.
Uma restauração sustenta um papel causal da intervenção nessas condições. Ela não demonstra que o vetor contém um único conceito nem que o circuito completo foi encontrado. Autopatching, intervenção inversa, perturbações de controle e exemplos reservados ajudam a detectar erros e seleção oportunista. A lição guiada desenvolve o protocolo.
O que o resultado demonstra — e o que não demonstra
A evidência depende do modelo, prompts, tokenização, locais, regra de substituição e métrica. Um resultado nulo pode indicar irrelevância, um local mal escolhido, uma medida fraca ou um caminho redundante. Um efeito grande também não torna a explicação completa.
Um trabalho robusto publica controles, casos negativos, procedimento de busca e validação em exemplos não usados para selecionar o mecanismo. Também diferencia uma simplificação didática de um experimento real.
Fluxo de trabalho reproduzível
- Definir comportamento e métrica.
- Criar entradas limpas e corrompidas comparáveis.
- Observar candidatos sem chamá-los de causas.
- Intervir em locais explícitos com versões documentadas.
- Comparar controles e hipóteses alternativas.
- Validar em prompts reservados e relatar falhas.
- Formular a conclusão mais restrita sustentada pelas evidências.
Fontes úteis: TransformerLens, Toy Models of Superposition e ACDC. Continue no Lab ou em A mecânica interna dos LLMs.