O PERCURSO · Intermediário

Interpretabilidade mecanicista de LLMs: guia prático

Entenda como representações, circuitos e intervenções causais ajudam a investigar um LLM — e o que esses métodos ainda não demonstram.

12 min de leituraVolume II · capítulo 8

O que a interpretabilidade mecanicista tenta explicar

Um modelo de linguagem transforma tokens em escores para o próximo token. A interpretabilidade mecanicista faz uma pergunta mais exigente que “qual entrada foi importante?”: quais cálculos internos produziram um comportamento e como testar essa explicação? O objetivo é construir explicações sobre representações, componentes e interações e confrontá-las com experimentos controlados.

Um mapa de atenção, uma sonda ou uma narrativa convincente podem revelar um padrão, mas não provam que o modelo o utilizou. Uma investigação útil passa da observação para uma hipótese, depois para uma intervenção e uma medida escolhida antecipadamente.

Das representações às características e aos circuitos

Uma ativação é um valor calculado para uma entrada em um ponto específico da rede. Uma característica é uma direção ou padrão que acompanha informação útil em vários exemplos. Ela pode estar distribuída por muitas coordenadas, enquanto várias características compartilham capacidade por superposição.

Um circuito é um conjunto proposto de componentes e conexões que realiza parte do cálculo. Cabeças de atenção, MLPs e direções no fluxo residual podem participar. Uma hipótese de circuito deve indicar tarefa, locais, informação transmitida, efeito esperado e exemplos de validação.

Principais famílias de métodos

  • Sondas verificam se uma informação pode ser decodificada; disponibilidade não significa uso.
  • Logit lens e atribuição conectam estados internos aos escores de saída.
  • Activation patching transfere um estado entre execuções e mede a restauração de um comportamento.
  • Ablação remove ou substitui um componente; redundância pode esconder contribuições reais.
  • Autoencoders esparsos aprendem características mais separadas, cuja interpretação e função causal ainda precisam ser avaliadas.
  • Descoberta de circuitos procura um subgrafo menor; automatizar a busca não garante fidelidade.

Um exemplo controlado de activation patching

Construa dois prompts comparáveis, escolha uma camada e posição e salve a ativação da condição limpa. Na execução corrompida, substitua apenas esse estado e continue o cálculo. Meça um contraste definido antes do experimento, como a diferença de logits entre dois tokens candidatos.

Uma restauração sustenta um papel causal da intervenção nessas condições. Ela não demonstra que o vetor contém um único conceito nem que o circuito completo foi encontrado. Autopatching, intervenção inversa, perturbações de controle e exemplos reservados ajudam a detectar erros e seleção oportunista. A lição guiada desenvolve o protocolo.

O que o resultado demonstra — e o que não demonstra

A evidência depende do modelo, prompts, tokenização, locais, regra de substituição e métrica. Um resultado nulo pode indicar irrelevância, um local mal escolhido, uma medida fraca ou um caminho redundante. Um efeito grande também não torna a explicação completa.

Um trabalho robusto publica controles, casos negativos, procedimento de busca e validação em exemplos não usados para selecionar o mecanismo. Também diferencia uma simplificação didática de um experimento real.

Fluxo de trabalho reproduzível

  1. Definir comportamento e métrica.
  2. Criar entradas limpas e corrompidas comparáveis.
  3. Observar candidatos sem chamá-los de causas.
  4. Intervir em locais explícitos com versões documentadas.
  5. Comparar controles e hipóteses alternativas.
  6. Validar em prompts reservados e relatar falhas.
  7. Formular a conclusão mais restrita sustentada pelas evidências.

Fontes úteis: TransformerLens, Toy Models of Superposition e ACDC. Continue no Lab ou em A mecânica interna dos LLMs.