LLM Mechanics
PT-BR

Opções de acessibilidade

Remova os elementos decorativos sem ocultar textos ou ilustrações didáticas. Você também pode ampliar a página pelo navegador.

Limitar movimentos e transições. A preferência do dispositivo tem prioridade.

O laboratório

Aprender fazendo

Quatro experimentos curtos e leituras para entender quais conclusões os resultados realmente permitem.

O modelo em movimento

Como um LLM prevê o próximo token?

Acompanhe uma frase: tokens, vetores, atenção, camadas do Transformer e escolha do próximo token.

48 segundos · sem áudio · 1080p

Ilustração educativa: divisão simplificada em palavras, vetores e pesos fictícios. As probabilidades são calculadas sobre quatro candidatos, não sobre todo o vocabulário de um modelo. O vídeo escolhe o máximo; um modelo também pode fazer amostragem.

Ler a descrição do vídeo

Do texto aos números

A frase “A capital da França é” se divide em cinco palavras, tratadas aqui como tokens. Cada token se torna um vetor; doze dimensões são ilustradas em um espaço esquemático.

Das relações ao contexto

As conexões entre posições se tornam uma matriz de pesos de atenção. Cada linha consulta as posições anteriores e a sua própria posição. As posições futuras são mascaradas.

Pelas camadas

A representação atravessa as camadas do Transformer. A atenção, o MLP e o fluxo residual contribuem para sua transformação. O percurso pelas camadas é esquemático.

Do valor ao próximo token

A última posição produz logits para quatro candidatos: Paris 8,7; Lyon 3,1; Marselha 1,8; Londres 0,9. Softmax, com temperatura 1, converte esses valores em probabilidades que somam 100%. Paris recebe cerca de 99,49% neste exemplo reduzido. O token mais provável se junta à frase: “A capital da França é Paris”. O processo pode se repetir.

Baixar o MP4

Construir um assistente em que se possa confiar

Imagine um assistente que ajuda uma equipe a atender solicitações de clientes. Ele precisa entender o problema, extrair informações úteis e consultar as regras certas. Em cada etapa, uma resposta plausível pode esconder um erro. Este percurso ensina a reconhecer esses erros e construir as verificações que faltam.

  1. Entender a solicitação

    Distinguir o sucesso em um conjunto de dados da capacidade de reconhecer o problema relevante.

  2. Extrair a informação correta

    Entender por que formato utilizável e informação correta são exigências distintas.

  3. Encontrar a regra aplicável

    Distinguir um documento aparentemente pertinente de evidência suficiente para uma situação específica.

  4. Entender a variação das respostas

    Distinguir a probabilidade de escolher um token da probabilidade de uma resposta ser verdadeira.

  5. Avaliar o serviço prestado

    Interpretar precisão pela perspectiva dos alertas recebidos e revocação pela dos incidentes reais.