Vídeos
Vídeos curtos
Os shorts do YouTube publicados, com transcrição e link para o conceito tratado.
Uma IA classifica suas mensagens perfeitamente durante o treinamento.
Dá para confiar nela?
A armadilha do livro, construída de propósito: no treinamento,
os incidentes são longos, com uma fórmula de cortesia.
Os pedidos de informação são curtos.
Duas regras funcionam então igualmente bem: ler as palavras…
ou ler o tamanho.
Como um aluno espertinho que adivinha a resposta pelo tamanho da pergunta.
No teste, invertemos: incidentes curtos, pedidos longos.
E os três métodos testados cometem exatamente os mesmos erros.
Por quê?
No treinamento, a fórmula de cortesia só aparecia com os incidentes.
Um indício tão cômodo quanto a própria categoria.
O conserto: mudar os dados, não o modelo.
Em 24 mensagens novas, a acurácia passa de 50% para 79,2%.
Então, sua IA lê a tarefa…
ou o tamanho, a fonte, a data?
Só um teste em que o indício não acompanha mais a categoria pode dizer.
O capítulo 4 de A Mecânica interna dos LLMs monta essa armadilha e a desmascara.
Inscreva-se para não perder os próximos!
85% de concordância entre duas pessoas… metade por acaso
Transcrição
Duas pessoas classificam os mesmos 100 textos.
Elas concordam 85 vezes.
É muito?
Classificar um texto é como marcar um impedimento: aplica-se uma regra escrita.
Dois árbitros com a mesma regra deveriam marcar as mesmas faltas.
85% de concordância.
Mas uma parte dessa concordância acontece…
por acaso.
Imagine dois corretores que não leem nada e decidem no cara ou coroa.
Eles concordariam uma vez em duas: 50%, por puro acaso.
O kappa só guarda a concordância além do acaso.
85 menos 50, sobre 100 menos 50…
0,70.
E as discordâncias se escondem nos casos-limite.
“A fatura está incorreta”: incidente, ou pedido de informação?
Duas pessoas podem hesitar.
A solução: escrever a regra com seus contraexemplos, medir a concordância,
e só depois julgar uma máquina.
Uma ferramenta não pode ser melhor do que a definição do que se pede a ela.
Então, quando dizem que uma IA “faz tão bem quanto os humanos”…
quais humanos, e com qual regra escrita?
O capítulo 3 de A Mecânica interna dos LLMs constrói essa referência passo a passo.
Inscreva-se para não perder os próximos!
Paris, 433ª resposta de uma IA… e depois 1ª graças a uma única frase
Transcrição
Uma IA conhece a capital da França?
Vamos testar, com um modelo de verdade: o GPT-2.
Damos a ele a frase francesa do livro: “La capitale de la France est”,
a capital da França é.
E olhamos qual token ele coloca em primeiro para continuar.
Veredito: no topo, “a”, “la”, “un”…
E Paris?
Na 433ª posição.
Uma chance em 4.000.
Agora, vamos acrescentar uma única frase antes: “La capitale de l'Allemagne est
Berlin”, a capital da Alemanha é Berlim.
E repetimos exatamente a mesma pergunta.
Paris salta da 433ª para a primeira posição.
E logo atrás…
Berlim.
O modelo não aprendeu nada: seus pesos não se mexeram.
Só o texto mudou.
Explicação plausível: ele reconhece um padrão, tal país, tal capital, e o prolonga.
Então, a IA sabia a resposta…
ou só copiou uma forma?
Para decidir, é preciso abrir o modelo e olhar dentro.
O capítulo 2 de A Mecânica interna dos LLMs faz esse experimento,
e o capítulo 8 abre o modelo.
Inscreva-se para não perder os próximos!
80% de acertos… e nenhum incidente detectado
Transcrição
Uma ferramenta de IA classifica as mensagens de um atendimento ao cliente.
Resultado: 80% de acertos.
Boa notícia?
Pense em alguém que separa a correspondência em duas bandejas.
Incidente: uma pane, um bloqueio.
Informação: uma pergunta sobre preço ou prazo.
Testamos com 10 mensagens: 8 pedidos de informação…
e só 2 incidentes.
Agora, uma ferramenta preguiçosa, que responde sempre “informação” sem ler nada.
Resultado: 8 em 10.
80% também!
Só que a preguiçosa não encontrou nenhum incidente.
Exatamente o que o atendimento queria evitar.
O remédio: antes de comentar uma nota, calcule a de um método trivial, a baseline,
nas mesmas mensagens.
Se ela já faz 80%, a ferramenta não aprendeu nada útil.
E antes de tudo, escrever o contrato da tarefa: o que a ferramenta recebe,
as respostas permitidas, o que conta como certo…
e o que fazer com os casos duvidosos.
Então, 80% é bom ou não?
Depende do que faz o método mais bobo…
e do que você esperava da ferramenta.
O capítulo 1 de A Mecânica interna dos LLMs estabelece esse contrato,
e o capítulo 3 constrói a referência que diz o que é certo.
Inscreva-se para não perder os próximos!
Uma IA julga outra IA: dá para confiar?
Transcrição
Para avaliar uma IA, cada vez mais se pede a opinião de outra IA.
Dá para confiar?
É o princípio do LLM juiz.
Ele recebe uma grade de critérios e duas respostas.
Escolhe a melhor e explica por quê.
É rápido e barato.
Mas ele tem seus vieses.
Muitas vezes prefere a primeira resposta que vê: inverta a ordem,
e o veredito pode se inverter também.
Às vezes, ele também confunde tamanho com qualidade.
Algumas boas práticas: apresentar as respostas nas duas ordens,
exigir a explicação antes da nota, e usar uma temperatura baixa.
E se o juiz também é um modelo, quem verifica o juiz?
O capítulo 15 de A Mecânica dos LLMs conclui com a avaliação dos sistemas de IA.
Inscreva-se para não perder a sequência!
Três modelos, quatro ferramentas: por que o MCP simplifica tudo
Transcrição
Para ligar três modelos a quatro ferramentas, quantos conectores é preciso escrever?
12.
Sem um padrão, cada modelo precisa do seu próprio conector para cada ferramenta.
Com m modelos e n ferramentas, são necessários m vezes n.
Isso logo fica impossível de manter.
O MCP, ou Model Context Protocol, funciona como uma tomada universal, como o USB-C.
Cada ferramenta é conectada uma única vez, e qualquer aplicação pode usá-la.
Com três modelos e quatro ferramentas,
passa-se de doze conectores para sete: três mais quatro.
Mas se um agente pode se conectar a centenas de ferramentas,
como ele escolhe a certa sem se perder?
O capítulo 14 de A Mecânica dos LLMs apresenta o MCP e os protocolos agênticos.
Inscreva-se para não perder a sequência!
Responder sobre um documento desconhecido: RAG e ferramentas
Transcrição
Como uma IA pode responder sobre um documento que ela nunca viu durante o
treinamento?
Graças ao RAG.
É uma prova com consulta: em vez de responder de memória,
o modelo primeiro busca os trechos certos em uma base de documentos.
Três etapas.
Recuperar: encontram-se os trechos mais próximos da pergunta.
Aumentar: eles são acrescentados ao contexto.
Gerar: o modelo responde com base neles.
E se o RAG dá olhos ao modelo, as ferramentas lhe dão mãos.
Para 345 vezes 987, é melhor chamar uma calculadora do que adivinhar.
Resultado: 340 515.
Mas se os trechos recuperados forem ruins, a resposta pode ser boa?
O capítulo 13 de A Mecânica dos LLMs apresenta o RAG, as ferramentas e os agentes.
Inscreva-se para não perder a sequência!
Escrever para pensar melhor: a cadeia de raciocínio
Transcrição
Por que uma IA que escreve o seu raciocínio erra menos em matemática?
Um modelo clássico tenta adivinhar a resposta diretamente.
Um modelo de raciocínio escreve primeiro etapas intermediárias,
como um aluno no rascunho.
Cada palavra escrita é um pouco mais de cálculo.
Escrever as etapas dá ao modelo tempo para explorar, verificar e corrigir.
Por exemplo: três livros a doze reais, pagos com uma nota de cinquenta.
Primeira etapa: três vezes doze, 36.
Segunda etapa: cinquenta menos trinta e seis, 14.
O troco é de catorze reais.
Mas um raciocínio bem escrito não é uma prova: pode estar errado e parecer
convincente.
Então, como verificar o raciocínio de uma IA?
O capítulo 12 de A Mecânica dos LLMs apresenta os modelos de raciocínio.
Inscreva-se para não perder a sequência!
Mesma pergunta, outra resposta: o sorteio e a temperatura
Transcrição
Por que a mesma pergunta às vezes dá duas respostas diferentes?
A cada passo, o modelo dá uma probabilidade a cada palavra possível.
Por exemplo: olá, quarenta e cinco por cento.
Oi, trinta e cinco.
E aí, vinte.
Depois, ele sorteia de acordo com essas chances.
A temperatura muda essas chances.
Baixa, a palavra favorita esmaga as outras: respostas seguras, mas repetitivas.
Alta, as chances se aproximam: respostas mais variadas, mas mais arriscadas.
Com uma temperatura de zero vírgula cinco, olá passa de 45 para 55 por cento.
Com uma temperatura de dois, cai para 39 por cento, e e aí sobe para 26.
Então, para um assistente médico, e para escrever um poema,
qual temperatura você escolheria?
O capítulo 11 de A Mecânica dos LLMs detalha as estratégias de geração.
Inscreva-se para não perder a sequência!
Ensinar uma IA a dizer não: o alinhamento
Transcrição
Mostrar boas respostas a uma IA não basta.
Também é preciso ensinar o que ela não deve dizer.
Mas como?
Mostra-se a algumas pessoas uma pergunta e duas respostas do modelo.
A tarefa delas é simples: escolher a melhor.
Comparar é bem mais fácil do que redigir uma resposta perfeita.
Por exemplo: explique a derivada para um aluno do ensino médio.
Resposta A: a derivada mede com que velocidade uma quantidade muda.
Resposta B: é coisa de matemático, não serve para muita coisa.
Os avaliadores escolhem a A.
Milhares dessas escolhas servem depois para treinar o modelo a preferir as
respostas do primeiro tipo.
É a ideia do RLHF, e de métodos mais recentes como o DPO.
Mas um modelo alinhado reflete as preferências de quem escolheu.
Então, quem deveria fazer essas escolhas?
O capítulo 10 de A Mecânica dos LLMs explica o alinhamento e seus limites.
Inscreva-se para não perder a sequência!
Um modelo bruto continua, não responde: ajuste fino e LoRA
Transcrição
Pergunte a um modelo bruto: qual é a capital da França?
Ele pode responder Paris.
Ou então continuar com: qual é a capital da Alemanha?
Depois do pré-treinamento, o modelo sabe continuar um texto, não responder.
O ajuste fino supervisionado mostra a ele pares: uma instrução e, depois,
a resposta ideal.
Ele aprende o comportamento de um assistente.
Não se ensinam fatos novos a ele, mas a usar o que ele já sabe.
E aqui, a qualidade dos exemplos importa muito mais do que a quantidade.
Para adaptar um modelo sem retreinar tudo, existe o LoRA.
Em vez de modificar uma matriz de cerca de 16 milhões de números,
treinam-se duas matrizes pequenas de cerca de 32 mil números.
Como post-its colados em um livro didático.
E se dá para colar vários conjuntos de post-its,
dá para manter um único modelo base para várias profissões?
O capítulo 9 de A Mecânica dos LLMs apresenta o ajuste fino supervisionado e o LoRA.
Inscreva-se para não perder a sequência!
140 GB para um só modelo: por que tantas GPUs?
Transcrição
Por que são necessárias dezenas de placas de vídeo para treinar um grande modelo de
linguagem?
Vamos fazer a conta.
Um modelo de setenta bilhões de parâmetros, cada um armazenado em dois bytes,
já pesa 140 GB.
Uma placa H cem só tem 80.
E isso são só os pesos.
Para aprender, também é preciso guardar as ativações,
os gradientes e os estados do otimizador.
A conta de memória sobe ainda mais.
Uma só placa já não basta: o modelo, só com os pesos,
ultrapassa a memória antes mesmo de começar a aprender.
Duas respostas.
Dividir o trabalho entre várias placas.
E reduzir a precisão dos números: calcular em 16 bits em vez de 32 reduz pela
metade o espaço de cada número.
Mesmo modelo, mesmos números: com dezesseis bits,
cada um ocupa metade do espaço que ocuparia com trinta e dois.
Até onde se pode reduzir a precisão dos números antes que o modelo perca qualidade?
O capítulo 8 de A Mecânica dos LLMs detalha essas otimizações do treinamento.
Inscreva-se para não perder a sequência!
Por que uma IA não sabe as notícias? | A data de corte
Transcrição
Pergunte a uma IA sobre as notícias da semana.
Muitas vezes, ela não sabe.
Por quê?
Durante o pré-treinamento, o modelo lê enormes quantidades de texto aprendendo a
adivinhar a próxima palavra.
Mas essa leitura para em uma data precisa: a data de corte.
Depois dela, ele não sabe mais nada.
Segundo o estudo Chinchilla, cerca de 20 tokens por parâmetro.
Um modelo de 70 bilhões de parâmetros deveria, então,
ler cerca de 1,4 trilhão de tokens.
Acrescentar novos conhecimentos depois não é simples.
Ao aprender uma receita de cozinha, o modelo poderia esquecer como fazer uma soma.
Isso se chama esquecimento catastrófico.
Então, como dar a um modelo informações recentes, sem ter de retreiná-lo toda vez?
O capítulo 7 de A Mecânica dos LLMs explica o pré-treinamento e seus limites.
671 bilhões de parâmetros, 37 em uso: a mistura de especialistas
Transcrição
Um modelo de 671 bilhões de parâmetros que só usa 37 bilhões para cada palavra.
É o caso do DeepSeek-V3.
Como isso é possível?
É a mistura de especialistas.
O modelo contém muitas redes especializadas.
Para cada palavra, um distribuidor, o roteador,
escolhe os poucos especialistas que vão processá-la.
Os outros ficam em repouso.
Pense em um grande hospital.
Na recepção, cada paciente é encaminhado ao especialista certo.
O hospital sabe muita coisa, mas cada paciente só vê alguns médicos.
A armadilha é um roteador que manda tudo para o mesmo especialista.
Esse fica sobretreinado, e os outros não servem para mais nada.
Por isso se acrescenta uma penalidade que obriga a dividir o trabalho.
Uma última pergunta: se só 37 bilhões de parâmetros trabalham para cada palavra,
o modelo precisa de menos memória, ou só de menos cálculo?
O capítulo 6 de A Mecânica dos LLMs descreve a arquitetura de mistura de
especialistas.
O dobro de texto, o quádruplo de cálculo? | O custo da atenção
Transcrição
Se dobrarmos o tamanho de um texto, o trabalho da atenção também dobra?
Não.
Ele é multiplicado por quatro.
Na atenção, cada palavra é comparada com todas as outras.
Com 8 palavras, são 64 comparações.
Com 16 palavras, 256.
O custo segue o quadrado do tamanho.
Para um modelo que lê livros inteiros,
esse quadrado vira um verdadeiro muro de cálculo e de memória.
Uma solução, usada por exemplo pelo Mistral, é a janela deslizante.
Cada palavra só olha para as vizinhas próximas,
como uma lanterna que acompanha a leitura em vez de iluminar o estádio inteiro.
O custo passa a crescer só em linha reta.
Mas se cada palavra só vê as vizinhas,
como uma informação do início do texto ainda consegue chegar ao final?
O capítulo 5 de A Mecânica dos LLMs explora essas otimizações da arquitetura.
BERT ou GPT: ler ou escrever? | Codificador e decodificador
Transcrição
BERT e GPT vêm da mesma invenção: o Transformer.
Mesmo assim, um serve sobretudo para ler, e o outro para escrever.
Por quê?
O codificador lê a frase inteira de uma vez, nos dois sentidos.
Ele é feito para entender: classificar uma avaliação,
reconhecer o nome de um lugar ou de uma pessoa.
É a família do BERT.
Já o decodificador escreve uma palavra depois da outra, olhando só o que veio antes.
O exercício dele: adivinhar a próxima palavra.
Em escala muito grande, isso deu origem ao GPT, ao LLaMA e ao Mistral.
É preciso um grande modelo generativo para separar avaliações de clientes em
positivas e negativas?
Muitas vezes, não.
Um modelo do tipo BERT faz isso muito bem, e custa bem menos.
Então, em um sistema real, por que tantas vezes se combinam os dois: um codificador
para buscar, e um grande modelo para redigir?
O capítulo 4 de A Mecânica dos LLMs apresenta essas famílias de modelos.
Como a IA sabe a quem “ele” se refere? | A atenção
Transcrição
Na frase “o gato bebe o leite porque ele está com sede”,
como uma máquina entende que a palavra ele se refere ao gato?
O Transformer não lê uma palavra depois da outra.
Para cada palavra, ele olha a frase inteira e se pergunta de quais palavras precisa.
Depois, dá um peso a cada uma.
É mais ou menos como uma biblioteca.
A sua pergunta é a consulta.
As etiquetas dos livros são as chaves.
O conteúdo deles são os valores.
A consulta é comparada com todas as chaves,
e se lê sobretudo os livros que combinam.
Aqui, a palavra ele compara a sua consulta com as chaves das outras palavras.
A combinação mais forte é com gato.
O sentido de ele se enriquece, então, sobretudo com o de gato.
Mas se todas as palavras são lidas ao mesmo tempo,
como o modelo sabe que João come o leão, e não o contrário?
O capítulo 3 de A Mecânica dos LLMs explica a atenção,
e a resposta para essa pergunta.
A IA lê mesmo as suas palavras? | A tokenização
Transcrição
Quando você escreve para uma IA, ela não lê de verdade as suas palavras.
Ela lê pedaços de palavras, transformados em números.
Antes de qualquer cálculo, o texto é cortado em pequenas unidades chamadas tokens.
A frase “A IA é útil” vira cinco pedaços, e cada um recebe um número.
O modelo só vai ver esses números.
Por que não palavras inteiras?
Existem palavras demais, com todas as conjugações e erros de digitação.
E letras soltas deixariam os textos muito longos.
Os pedaços de palavras são o meio-termo.
Uma consequência concreta: os serviços de IA cobram por tokens, não por palavras.
E dois modelos diferentes não cortam necessariamente o mesmo texto do mesmo jeito.
Uma última pergunta: se uma língua é cortada em mais pedaços que outra,
o que acontece com o custo,
e com a quantidade de texto que o modelo consegue ler de uma vez?
O capítulo 2 de A Mecânica dos LLMs detalha a tokenização e os embeddings.
99,9% de acerto… e mesmo assim inútil? | Precisão e revocação
Transcrição
Pense em um teste de triagem para uma doença rara.
Em cada 1.000 pessoas, só uma está doente.
O teste declara todo mundo saudável.
É um bom teste?
Se contarmos as respostas certas, ele acerta em 99,9% dos casos.
Quase perfeito.
Só que deixou escapar a única pessoa que estávamos procurando.
A nota geral não basta.
Quando o teste dá o alerta, ele acerta?
Isso é a precisão.
Entre os doentes de verdade, quantos ele encontra?
Isso é a revocação.
É preciso olhar as duas.
Outro exemplo: 100 e-mails, dos quais 20 são golpes.
O filtro bloqueia 10, e 8 são golpes de verdade.
Ele acerta 8 vezes em 10.
Mas deixa passar 12: só pega 8 de 20.
Então, qual erro é mais grave?
Para uma doença, deixar passar um doente costuma ser pior do que um alarme falso.
Para um filtro de spam, é o contrário.
E na sua área, qual erro custa mais?
O capítulo 1 de A Mecânica dos LLMs explora essas medidas e suas armadilhas.