O PERCURSO · Iniciante

Dividir o texto em tokens determina o custo e a latência

Antes de qualquer multiplicação de matrizes, o texto vira uma sequência de identificadores. Teste um tokenizador BPE e veja o efeito sobre o custo.

7 min de leituraVolume I · capítulo 2 e 3

O token: a unidade que o modelo realmente lê

Antes da primeira multiplicação de matrizes, um modelo de linguagem converte o fluxo contínuo de texto em uma sequência discreta de identificadores inteiros: os tokens. Essa escolha de unidade é um compromisso permanente entre o tamanho do vocabulário e o comprimento das sequências.

A divisão por palavras falha nas raízes comuns (« bear » e « bears ») e esbarra em qualquer termo ausente do dicionário, dito fora do vocabulário. Em contrapartida, a divisão por caracteres elimina as palavras desconhecidas, mas estica as sequências de forma desmedida. O padrão atual, BPE (Byte-Pair Encoding) ou WordPiece, funde estatisticamente os pares mais frequentes para obter subpalavras reutilizáveis.

Um custo invisível, mas bem real

Em produção, essa etapa discreta condiciona diretamente a fatura. Um tokenizador treinado majoritariamente em inglês fragmenta mais o francês: para uma mesma frase, o número de tokens aumenta e, com ele, a cobrança, a latência e a memória consumida.

Analogia do Volume 1: a partitura digital

Imagine a tokenização como a transformação de uma melodia fluida em uma partitura musical. O texto contínuo é dividido em notas individuais, os tokens, que o instrumento pode então tocar.

Duas frases de mesmo comprimento em caracteres podem produzir um número muito diferente de « notas ». O custo do cache KV varia então linearmente com esse número, e o cálculo de atenção inicial varia de forma quadrática.

Sua vez

Na oficina abaixo, compare as três granularidades nos exemplos propostos ou na sua própria frase. Observe sobretudo a coluna de custo relativo: é ela que liga uma decisão de divisão a uma fatura.

Oficina interativa

Divisor de tokens e impacto no custo

Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.

Para guardar

  • Os modelos modernos (GPT, LLaMA, Mistral) dividem o texto em subpalavras para equilibrar o tamanho do vocabulário e o comprimento das sequências.
  • As APIs cobram pelo número de tokens, nunca pelo número de palavras nem de caracteres.
  • Uma palavra repetida ou incomum (« hellooooooo ») se fragmenta em vários tokens e aumenta a latência.

VALIDAÇÃO

Verifique sua compreensão

A validar

Por que um tokenizador BPE treinado principalmente em inglês custa mais no uso com um texto em francês de mesmo comprimento em caracteres?