EL RECORRIDO · Inicial

La geometría del espacio latente convierte el sentido en vectores

Los embeddings sitúan las palabras en un espacio donde las relaciones se vuelven traslaciones. Manipúlalos en un observatorio 3D.

7 min de lecturaTomo I · capítulo 3 y 11

Del one-hot a los vectores densos

Una simple codificación one-hot asigna a cada token un vector gigante, todos ortogonales entre sí. Matemáticamente, « perro » queda tan lejos de « lobo » como de « mesa ». Para capturar la semántica, las redes aprenden vectores densos: los embeddings, almacenados en una matriz de pesos de tamaño vocabulario × dimensión.

Introducido por Word2Vec mediante una tarea proxy (adivinar una palabra a partir de su contexto), este aprendizaje organiza los conceptos en el espacio. Las relaciones lógicas se convierten en traslaciones vectoriales, una propiedad que perdura y se amplifica en los estados ocultos de los LLM modernos (se habla de representación lineal).

v(resultado) = v(Rey) − v(Hombre) + v(Mujer) ≈ v(Reina)

Analogía del Tomo 1: el mapa del sentido

Visualiza cada embedding como unas coordenadas GPS en un inmenso mapa conceptual. En ese mapa, « París » y « Francia » mantienen el mismo vector de desplazamiento que « Roma » e « Italia ».

A diferencia de los vectores estáticos de Word2Vec, las capas de atención de los Transformers producen embeddings contextuales: « banco » se desplaza según esté junto a « dinero » o a « río ».

Ahora te toca

El observatorio de abajo proyecta trece palabras en un espacio 3D. Las coordenadas son ficticias y se han elegido para que el ejemplo sea legible: un espacio real tiene cientos de dimensiones. Desliza la traslación de 0 a 100 % y mira qué palabra pasa a ser la más cercana.

Taller interactivo

Observatorio vectorial y aritmética del sentido

Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.

Lo esencial

  • La matriz de embeddings forma parte de los parámetros del modelo (tamaño del vocabulario × dimensión).
  • La dirección de un vector transporta la información semántica; su proximidad angular (el coseno) fundamenta la búsqueda vectorial y el RAG.
  • Dos modelos distintos tienen espacios vectoriales incompatibles: nunca se comparan directamente sus embeddings.

VALIDACIÓN

Comprueba lo que has entendido

Por validar

En la técnica de la « tarea proxy » que usa Word2Vec (CBOW o Skip-gram), ¿cuál es el verdadero objetivo del entrenamiento?