Veja o que acontece dentro de um LLM (modelo de linguagem).

Acompanhe uma frase: tokens, vetores, atenção, camadas do Transformer e escolha do próximo token.

Do texto aos números. A frase “A capital da França é” se divide em cinco palavras, tratadas aqui como tokens. Cada token se torna um vetor; doze dimensões são ilustradas em um espaço esquemático.

Das relações ao contexto. As conexões entre posições se tornam uma matriz de pesos de atenção. Cada linha consulta as posições anteriores e a sua própria posição. As posições futuras são mascaradas.

Pelas camadas. A representação atravessa as camadas do Transformer. A atenção, o MLP e o fluxo residual contribuem para sua transformação. O percurso pelas camadas é esquemático.

Do valor ao próximo token. A última posição produz logits para quatro candidatos: Paris 8,7; Lyon 3,1; Marselha 1,8; Londres 0,9. Softmax, com temperatura 1, converte esses valores em probabilidades que somam 100%. Paris recebe cerca de 99,49% neste exemplo reduzido. O token mais provável se junta à frase: “A capital da França é Paris”. O processo pode se repetir.

Ilustração educativa: divisão simplificada em palavras, vetores e pesos fictícios. As probabilidades são calculadas sobre quatro candidatos, não sobre todo o vocabulário de um modelo. O vídeo escolhe o máximo; um modelo também pode fazer amostragem.