O laboratório
Temperatura: mudar as probabilidades
Os mesmos valores, outras probabilidades. Explore temperatura, top-k e top-p com quatro tokens.
Experimento construído · sem executar um modelo
A situação · Entender a variação das respostas
Seu assistente formula respostas diferentes à mesma solicitação. Você considera reduzir a temperatura para aumentar a confiabilidade. Antes, quer entender o que esse ajuste realmente muda.
O que você vai aprender
Distinguir a probabilidade de escolher um token da probabilidade de uma resposta ser verdadeira.
Sua missão
Use quatro candidatos para observar uma única escolha. Mude temperatura e filtros e compare a distribuição esperada com os sorteios.
Ao concluir esta atividade. Você saberá explicar temperatura, top-k e top-p, incluindo os limites de uma demonstração sem um modelo completo.
Sua vez de experimentar
O modo guloso escolhe o maior valor. Temperatura e filtros ficam desativados.
Os valores não mudam. Você modifica sua transformação em probabilidades e sua filtragem.
Valores construídos: 2 · 1 · 0,5 · 0,1. As palavras francesas são rótulos fixos do experimento.
Mostrar os valores
| Token | Antes da filtragem | Depois da filtragem |
|---|---|---|
| chat | 57,5 % | 57,5 % |
| chien | 21,1 % | 21,1 % |
| souris | 12,8 % | 12,8 % |
| oiseau | 8,6 % | 8,6 % |
Semente fixa 42; as frequências observadas não são as probabilidades exatas.
Entenda os valores antes de mudar os ajustes
Os quatro números iniciais, 2, 1, 0,5 e 0,1, são pontuações construídas. Eles classificam candidatos, mas ainda não são probabilidades. Softmax os transforma em valores positivos cuja soma é um. Isso permite sortear um candidato de acordo com a distribuição resultante.
Com temperatura 1, “chat” recebe aproximadamente 57,5% da probabilidade. Em muitos sorteios independentes com essa mesma distribuição, sua frequência tenderia a esse valor. Isso não significa que a palavra seja verdadeira nem que responda bem a uma pergunta. A cápsula não contém uma pergunta factual para julgar sua pertinência.
Uma exploração guiada em três etapas
Mantenha os quatro candidatos e top-p igual a 1. Reduza a temperatura de 1 para 0,5 e observe a primeira barra. O candidato favorito ganha probabilidade porque dividir por uma temperatura menor amplia as diferenças entre pontuações. A classificação permanece; a concentração muda.
Volte à temperatura inicial e coloque top-k em 2. Dois candidatos são excluídos. As probabilidades restantes são recalculadas para que continuem somando um. Por fim, reduza top-p: quando a probabilidade acumulada do primeiro candidato atinge o limiar, o segundo também é removido.
Leia os sorteios sem confundir acaso e erro
O botão converte a distribuição em cem observações. As contagens podem diferir dos percentuais esperados porque uma amostra finita flutua. A cápsula recomeça com a mesma semente pseudoaleatória para facilitar comparações. Um estudo de variabilidade usaria várias sementes e mais repetições.
Faça uma previsão: com top-k igual a 1, outro candidato pode aparecer? Não, porque sua probabilidade final é exatamente zero. Essa resposta decorre da filtragem, não da qualidade dos conhecimentos de um modelo.
O que lembrar
Uma temperatura baixa concentra a probabilidade nos valores mais altos. Ela não garante a veracidade.
Ordem das operações
Temperatura → softmax estável → top-k → renormalização → top-p → renormalização final. Top-p mantém o menor prefixo que atinge o limiar; empates seguem a ordem inicial dos tokens.
p(i) = exp((z(i) − max(z)) / T) / Σ exp((z(j) − max(z)) / T)
O que este exemplo não mostra
Quatro valores construídos não representam um vocabulário completo. Esta cápsula não gera texto nem executa um modelo. As bibliotecas podem usar outras convenções de filtragem.