Artigos · Mustapha Alouani
Precisão e revocação: escolha o que proteger
Um alerta desnecessário e um incidente perdido podem ter custos muito diferentes.
O detector que sempre alerta
Um serviço recebe cem mensagens, das quais dez relatam incidentes. Um detector emite um alerta para cada mensagem. Ele encontra os dez incidentes: sua revocação é de 100%. Mas apenas dez de cem alertas são justificados: a precisão é de 10%. São números construídos, não resultados do livro.
A revocação isolada lhe dá uma nota excelente. A precisão conta outra história. Antes de escolher uma medida, identifique os erros que sua aplicação precisa evitar.
Reconstrua as contagens
Um verdadeiro positivo é um incidente sinalizado corretamente. Um falso positivo é um alerta para uma mensagem normal. Um falso negativo é um incidente perdido. Um verdadeiro negativo é uma mensagem normal corretamente ignorada.
A precisão divide os verdadeiros positivos por todos os alertas. A revocação os divide por todos os incidentes reais. F1 combina precisão e revocação por uma média harmônica; não considera verdadeiros negativos nem um custo de negócio explícito.
Por que a acurácia geral pode enganar
No mesmo lote, nunca alertar produz 90% de respostas corretas, mas nenhum incidente detectado. Esse número parece tranquilizador quando ignoramos a raridade dos incidentes. Mantenha contagens e proporções de classes junto aos percentuais.
A precisão observada também depende da população avaliada. Um conjunto artificialmente equilibrado tem uma proporção de incidentes diferente do fluxo real. Não transfira seus números automaticamente para a produção.
Escolha um limiar sem trapacear
Se o sistema produz uma pontuação, compare limiares em um conjunto de calibração. Defina o critério: capacidade humana de revisar alertas, custo de incidentes perdidos ou revocação mínima. Depois, avalie o limiar escolhido em um teste reservado. Não reajuste o limiar nesse teste.
Com amostras pequenas, poucos casos podem mudar bastante o resultado. Apresente contagens e, quando o protocolo permitir, uma estimativa de incerteza. Dois pontos de diferença não significam automaticamente uma melhoria sólida.
Leia uma matriz de confusão como uma história
O vocabulário fica mais simples quando o ligamos a uma situação concreta. Imagine abrir cada alerta e perguntar: “Havia realmente um incidente?”. Você observa o sistema pela perspectiva de quem recebe os alertas. Essa é a perspectiva da precisão. Agora parta da lista de todos os incidentes reais e procure quais geraram alertas. Essa é a perspectiva da revocação.
As duas leituras usam as mesmas decisões, mas começam com populações diferentes. Esse ponto de partida explica os denominadores. Também explica por que alta precisão não basta: o sistema pode emitir apenas um alerta correto e perder outros nove incidentes. Sua precisão será de 100%, mas a revocação será de 10%.
O que F1 conserva e o que esconde
F1 resume o equilíbrio entre precisão e revocação. A média harmônica penaliza um desequilíbrio grande. Com precisão de 100% e revocação de 10%, a média aritmética seria 55%, enquanto F1 fica em aproximadamente 18,2%. O segundo número deixa mais evidente que a maioria dos incidentes foi perdida.
Esse resumo não incorpora um julgamento de negócio. Dois sistemas com o mesmo F1 podem gerar volumes diferentes de alertas. A mesma pontuação pode servir para exploração e ser insuficiente em um processo no qual cada erro custa caro. Antes de comparar, explique para que as previsões serão usadas e quem tratará suas consequências.
Relacione a medida à frequência dos incidentes
Um detector fictício encontra 80% dos incidentes e gera alertas falsos em 10% das mensagens normais. Em cem mensagens com dez incidentes, ele produz, em média, oito alertas justificados e nove falsos. A precisão esperada é 8/17, aproximadamente 47,1%. Em cem mensagens com cinquenta incidentes, as mesmas taxas condicionais produzem quarenta alertas justificados e cinco falsos: cerca de 88,9% de precisão.
O detector não mudou nesse experimento mental; mudou a proporção de incidentes. Por isso a precisão de um corpus equilibrado não pode ser transferida sem cuidado para o fluxo real. Os valores ilustram o cálculo; em um sistema real, as próprias taxas condicionais também podem variar quando os dados mudam.
Tome uma decisão explicável
Uma escolha defensável associa a medida a uma restrição concreta. Por exemplo, buscar a maior revocação compatível com revisar vinte alertas por dia. Isso torna o compromisso visível e discutível. É mais informativo do que pedir apenas um F1 maior, pois conecta o cálculo ao trabalho real de quem utilizará o sistema.
Exercício resolvido
Com 8 verdadeiros positivos, 2 falsos positivos e 2 falsos negativos, ambas as medidas valem 80%. Dobre os falsos negativos sem mudar mais nada. A precisão continua em 80%; a revocação passa a 8/12, aproximadamente 66,7%. Confira o cálculo na cápsula.