O PERCURSO · Iniciante
A geometria do espaço latente transforma sentido em vetores
Os embeddings colocam as palavras em um espaço onde as relações viram translações. Manipule-os em um observatório 3D.
Do one-hot aos vetores densos
Uma simples codificação one-hot atribui a cada token um vetor gigante, todos ortogonais entre si. Matematicamente, « cachorro » fica tão distante de « lobo » quanto de « mesa ». Para capturar a semântica, as redes aprendem vetores densos: os embeddings, armazenados em uma matriz de pesos de tamanho vocabulário × dimensão.
Introduzido pelo Word2Vec por meio de uma tarefa proxy (adivinhar uma palavra a partir do seu contexto), esse aprendizado organiza os conceitos no espaço. As relações lógicas viram translações vetoriais, uma propriedade que persiste e se amplia nos estados ocultos dos LLMs modernos (fala-se em representação linear).
v(resultado) = v(Rei) − v(Homem) + v(Mulher) ≈ v(Rainha)
Analogia do Volume 1: o mapa do sentido
Visualize cada embedding como coordenadas de GPS em um imenso mapa conceitual. Nesse mapa, « Paris » e « França » mantêm o mesmo vetor de deslocamento que « Roma » e « Itália ».
Ao contrário dos vetores estáticos do Word2Vec, as camadas de atenção dos Transformers produzem embeddings contextuais: « banco » se desloca conforme esteja ao lado de « dinheiro » ou de « rio ».
Sua vez
O observatório abaixo projeta treze palavras em um espaço 3D. As coordenadas são fictícias e escolhidas para que o exemplo seja legível: um espaço real tem centenas de dimensões. Arraste a translação de 0 a 100 % e veja qual palavra se torna a mais próxima.
Oficina interativa
Observatório vetorial e aritmética do sentido
Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.
Para guardar
- A matriz de embeddings faz parte dos parâmetros do modelo (tamanho do vocabulário × dimensão).
- A direção de um vetor carrega a informação semântica; sua proximidade angular (o cosseno) fundamenta a busca vetorial e o RAG.
- Dois modelos distintos têm espaços vetoriais incompatíveis: nunca se comparam diretamente os embeddings de um com os do outro.
VALIDAÇÃO
Verifique sua compreensão
Na técnica da « tarefa proxy » usada pelo Word2Vec (CBOW ou Skip-gram), qual é o verdadeiro objetivo do treinamento?