O PERCURSO
Aprender os mecanismos, passo a passo.
Lições guiadas conectam conceitos, experiências do Lab e capítulos dos dois livros. Comece com uma situação concreta, construa o raciocínio e depois verifique-o.
Iniciante7 min de leituraVolume I
Antes de qualquer multiplicação de matrizes, o texto vira uma sequência de identificadores. Teste um tokenizador BPE e veja o efeito sobre o custo.
tokenizaçãoBPEcustoVolume 1
Ler a lição : Dividir o texto em tokens determina o custo e a latência →Iniciante7 min de leituraVolume I
Os embeddings colocam as palavras em um espaço onde as relações viram translações. Manipule-os em um observatório 3D.
embeddingsespaço latentesimilaridade de cossenoVolume 1
Ler a lição : A geometria do espaço latente transforma sentido em vetores →Intermediário8 min de leituraVolume I
Consultas, chaves e valores: veja como cada token interroga os demais e por que se divide por √d_k antes do softmax.
atençãoTransformersoftmaxVolume 1
Ler a lição : A atenção multicabeça liga cada palavra ao contexto em paralelo →Intermediário8 min de leituraVolume I
Em vez de somar uma posição, o RoPE faz girar Consultas e Chaves. Teste em um mostrador por que só a diferença importa.
RoPEposiçãocontexto longoVolume 1
Ler a lição : O RoPE codifica a distância relativa por uma rotação geométrica →Intermediário8 min de leituraVolume I
Um roteador ativa apenas alguns especialistas por token. Simule o roteamento Top-K e o colapso, e distinga parâmetros totais e ativos.
MoEroteamentoMixtralVolume 1
Ler a lição : O Mixture of Experts especializa o cálculo sem pesar na inferência →Avançado9 min de leituraVolume I
O verdadeiro gargalo é a memória, não o cálculo. Compare os fluxos HBM e SRAM e depois estime a VRAM de um modelo com um dimensionador.
FlashAttentioncache KVVRAMVolume 1
Ler a lição : FlashAttention e o cache KV domam a hierarquia de memória da GPU →Intermediário12 min de leituraVolume II
Entenda como representações, circuitos e intervenções causais ajudam a investigar um LLM — e o que esses métodos ainda não demonstram.
interpretabilidade mecanicistacircuitos transformerintervenção causal
Ler a lição : Interpretabilidade mecanicista de LLMs: guia prático →Intermediário7 min de leituraVolume II
Uma informação visível dentro do modelo é realmente usada? Construa um contraste, meça uma restauração e aprenda a testar uma explicação.
activation patchinglogits
Ler a lição : A oficina dos LLM: substituir uma ativação para compreender →Iniciante9 min de leituraVolume II
Acompanhe uma solicitação em cinco verificações: intenção, extração, evidência, geração e avaliação.
avaliaçãoRAGconfiabilidade
Ler a lição : Da pergunta à resposta verificável →