El laboratorio
Temperatura: cambiar las probabilidades
Los mismos valores, otras probabilidades. Explore temperatura, top-k y top-p con cuatro tokens.
Experimento construido · sin ejecutar un modelo
La situación · Comprender la variación de respuestas
El asistente formula respuestas diferentes a una misma solicitud. Piensas reducir la temperatura para mejorar su fiabilidad. Primero quieres comprender qué modifica realmente ese ajuste.
Qué vas a aprender
Distinguir la probabilidad de elegir un token de la probabilidad de que una respuesta sea verdadera.
Tu misión
Utiliza cuatro candidatos para observar una sola elección. Modifica temperatura y filtros y compara la distribución esperada con los sorteos.
Al terminar esta actividad. Sabrás explicar temperatura, top-k y top-p, incluidos los límites de una demostración sin un modelo completo.
Su turno de experimentar
El modo voraz elige el valor máximo. Se desactivan la temperatura y los filtros.
Los valores no cambian. Se modifica su transformación en probabilidades y su filtrado.
Valores construidos: 2 · 1 · 0,5 · 0,1. Las palabras francesas son etiquetas fijas del experimento.
Mostrar los valores
| Token | Antes del filtrado | Después del filtrado |
|---|---|---|
| chat | 57,5 % | 57,5 % |
| chien | 21,1 % | 21,1 % |
| souris | 12,8 % | 12,8 % |
| oiseau | 8,6 % | 8,6 % |
Semilla fija 42; las frecuencias observadas no son las probabilidades exactas.
Comprende los valores antes de cambiar los ajustes
Los cuatro números iniciales, 2, 1, 0,5 y 0,1, son puntuaciones construidas. Ordenan candidatos, pero todavía no son probabilidades. Softmax las convierte en valores positivos cuya suma es uno. Esto permite seleccionar un candidato al azar respetando la distribución obtenida.
Con temperatura 1, «chat» recibe aproximadamente el 57,5 % de probabilidad. Tras muchos sorteos independientes con esa misma distribución, su frecuencia tendería a ese valor. No significa que la palabra sea verdadera ni que responda bien a una pregunta. La cápsula no contiene una pregunta factual con la que juzgar su pertinencia.
Una manipulación guiada en tres etapas
Conserva los cuatro candidatos y fija top-p en 1. Reduce la temperatura de 1 a 0,5 y observa la primera barra. El candidato favorito gana probabilidad porque dividir por una temperatura menor amplifica las diferencias entre puntuaciones. La clasificación no cambia; cambia la concentración.
Vuelve a la temperatura inicial y fija top-k en 2. Dos candidatos quedan excluidos. Las probabilidades restantes se recalculan para que sigan sumando uno. Por último, reduce top-p: cuando la probabilidad acumulada del primer candidato alcanza el umbral, el segundo también se elimina.
Lee los sorteos sin confundir azar y error
El botón convierte la distribución en cien observaciones. Los recuentos pueden diferir de los porcentajes esperados porque una muestra finita fluctúa. Para facilitar la comparación, la cápsula vuelve a usar la misma semilla seudoaleatoria. Un estudio de variabilidad necesitaría varias semillas y más repeticiones.
Haz una predicción: con top-k igual a 1, ¿puede aparecer otro candidato? No, porque su probabilidad final es exactamente cero. La respuesta se deduce del filtrado, no de la calidad de los conocimientos de un modelo.
Qué recordar
Una temperatura baja concentra la probabilidad en los valores más altos. No garantiza la veracidad.
Orden de las operaciones
Temperatura → softmax estable → top-k → renormalización → top-p → renormalización final. Top-p conserva el prefijo mínimo que alcanza el umbral; los empates siguen el orden inicial de los tokens.
p(i) = exp((z(i) − max(z)) / T) / Σ exp((z(j) − max(z)) / T)
Lo que este ejemplo no muestra
Cuatro valores construidos no representan un vocabulario completo. Esta cápsula no genera texto ni ejecuta un modelo. Las bibliotecas pueden aplicar otras convenciones de filtrado.