O PERCURSO · Iniciante

A geometria do espaço latente transforma sentido em vetores

Os embeddings colocam as palavras em um espaço onde as relações viram translações. Manipule-os em um observatório 3D.

7 min de leituraVolume I · capítulo 3 e 11

Do one-hot aos vetores densos

Uma simples codificação one-hot atribui a cada token um vetor gigante, todos ortogonais entre si. Matematicamente, « cachorro » fica tão distante de « lobo » quanto de « mesa ». Para capturar a semântica, as redes aprendem vetores densos: os embeddings, armazenados em uma matriz de pesos de tamanho vocabulário × dimensão.

Introduzido pelo Word2Vec por meio de uma tarefa proxy (adivinhar uma palavra a partir do seu contexto), esse aprendizado organiza os conceitos no espaço. As relações lógicas viram translações vetoriais, uma propriedade que persiste e se amplia nos estados ocultos dos LLMs modernos (fala-se em representação linear).

v(resultado) = v(Rei) − v(Homem) + v(Mulher) ≈ v(Rainha)

Analogia do Volume 1: o mapa do sentido

Visualize cada embedding como coordenadas de GPS em um imenso mapa conceitual. Nesse mapa, « Paris » e « França » mantêm o mesmo vetor de deslocamento que « Roma » e « Itália ».

Ao contrário dos vetores estáticos do Word2Vec, as camadas de atenção dos Transformers produzem embeddings contextuais: « banco » se desloca conforme esteja ao lado de « dinheiro » ou de « rio ».

Sua vez

O observatório abaixo projeta treze palavras em um espaço 3D. As coordenadas são fictícias e escolhidas para que o exemplo seja legível: um espaço real tem centenas de dimensões. Arraste a translação de 0 a 100 % e veja qual palavra se torna a mais próxima.

Oficina interativa

Observatório vetorial e aritmética do sentido

Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.

Para guardar

  • A matriz de embeddings faz parte dos parâmetros do modelo (tamanho do vocabulário × dimensão).
  • A direção de um vetor carrega a informação semântica; sua proximidade angular (o cosseno) fundamenta a busca vetorial e o RAG.
  • Dois modelos distintos têm espaços vetoriais incompatíveis: nunca se comparam diretamente os embeddings de um com os do outro.

VALIDAÇÃO

Verifique sua compreensão

A validar

Na técnica da « tarefa proxy » usada pelo Word2Vec (CBOW ou Skip-gram), qual é o verdadeiro objetivo do treinamento?