EL RECORRIDO · Inicial
La geometría del espacio latente convierte el sentido en vectores
Los embeddings sitúan las palabras en un espacio donde las relaciones se vuelven traslaciones. Manipúlalos en un observatorio 3D.
Del one-hot a los vectores densos
Una simple codificación one-hot asigna a cada token un vector gigante, todos ortogonales entre sí. Matemáticamente, « perro » queda tan lejos de « lobo » como de « mesa ». Para capturar la semántica, las redes aprenden vectores densos: los embeddings, almacenados en una matriz de pesos de tamaño vocabulario × dimensión.
Introducido por Word2Vec mediante una tarea proxy (adivinar una palabra a partir de su contexto), este aprendizaje organiza los conceptos en el espacio. Las relaciones lógicas se convierten en traslaciones vectoriales, una propiedad que perdura y se amplifica en los estados ocultos de los LLM modernos (se habla de representación lineal).
v(resultado) = v(Rey) − v(Hombre) + v(Mujer) ≈ v(Reina)
Analogía del Tomo 1: el mapa del sentido
Visualiza cada embedding como unas coordenadas GPS en un inmenso mapa conceptual. En ese mapa, « París » y « Francia » mantienen el mismo vector de desplazamiento que « Roma » e « Italia ».
A diferencia de los vectores estáticos de Word2Vec, las capas de atención de los Transformers producen embeddings contextuales: « banco » se desplaza según esté junto a « dinero » o a « río ».
Ahora te toca
El observatorio de abajo proyecta trece palabras en un espacio 3D. Las coordenadas son ficticias y se han elegido para que el ejemplo sea legible: un espacio real tiene cientos de dimensiones. Desliza la traslación de 0 a 100 % y mira qué palabra pasa a ser la más cercana.
Taller interactivo
Observatorio vectorial y aritmética del sentido
Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.
Lo esencial
- La matriz de embeddings forma parte de los parámetros del modelo (tamaño del vocabulario × dimensión).
- La dirección de un vector transporta la información semántica; su proximidad angular (el coseno) fundamenta la búsqueda vectorial y el RAG.
- Dos modelos distintos tienen espacios vectoriales incompatibles: nunca se comparan directamente sus embeddings.
VALIDACIÓN
Comprueba lo que has entendido
En la técnica de la « tarea proxy » que usa Word2Vec (CBOW o Skip-gram), ¿cuál es el verdadero objetivo del entrenamiento?