O PERCURSO · Iniciante
Dividir o texto em tokens determina o custo e a latência
Antes de qualquer multiplicação de matrizes, o texto vira uma sequência de identificadores. Teste um tokenizador BPE e veja o efeito sobre o custo.
O token: a unidade que o modelo realmente lê
Antes da primeira multiplicação de matrizes, um modelo de linguagem converte o fluxo contínuo de texto em uma sequência discreta de identificadores inteiros: os tokens. Essa escolha de unidade é um compromisso permanente entre o tamanho do vocabulário e o comprimento das sequências.
A divisão por palavras falha nas raízes comuns (« bear » e « bears ») e esbarra em qualquer termo ausente do dicionário, dito fora do vocabulário. Em contrapartida, a divisão por caracteres elimina as palavras desconhecidas, mas estica as sequências de forma desmedida. O padrão atual, BPE (Byte-Pair Encoding) ou WordPiece, funde estatisticamente os pares mais frequentes para obter subpalavras reutilizáveis.
Um custo invisível, mas bem real
Em produção, essa etapa discreta condiciona diretamente a fatura. Um tokenizador treinado majoritariamente em inglês fragmenta mais o francês: para uma mesma frase, o número de tokens aumenta e, com ele, a cobrança, a latência e a memória consumida.
Analogia do Volume 1: a partitura digital
Imagine a tokenização como a transformação de uma melodia fluida em uma partitura musical. O texto contínuo é dividido em notas individuais, os tokens, que o instrumento pode então tocar.
Duas frases de mesmo comprimento em caracteres podem produzir um número muito diferente de « notas ». O custo do cache KV varia então linearmente com esse número, e o cálculo de atenção inicial varia de forma quadrática.
Sua vez
Na oficina abaixo, compare as três granularidades nos exemplos propostos ou na sua própria frase. Observe sobretudo a coluna de custo relativo: é ela que liga uma decisão de divisão a uma fatura.
Oficina interativa
Divisor de tokens e impacto no custo
Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.
Para guardar
- Os modelos modernos (GPT, LLaMA, Mistral) dividem o texto em subpalavras para equilibrar o tamanho do vocabulário e o comprimento das sequências.
- As APIs cobram pelo número de tokens, nunca pelo número de palavras nem de caracteres.
- Uma palavra repetida ou incomum (« hellooooooo ») se fragmenta em vários tokens e aumenta a latência.
VALIDAÇÃO
Verifique sua compreensão
Por que um tokenizador BPE treinado principalmente em inglês custa mais no uso com um texto em francês de mesmo comprimento em caracteres?