A IA que sabe o que sabe: incerteza calibrada com garantias estatísticas

Um sistema de IA que informa uma decisão de defesa faz sempre a mesma pergunta ao operador, ainda que não a formule em voz alta: quanto confia nesta resposta? Quando a confiança é um número decorativo, a decisão assenta numa sensação. Quando é uma garantia estatística, a decisão assenta numa propriedade que pode ser testada. A diferença entre estas duas situações é o que separa analítica útil de analítica perigosa.

Na Zendrix tratamos a incerteza calibrada como requisito de engenharia, não como refinamento académico. Este artigo descreve o problema, a abordagem que adotamos e por que razão ela muda a forma como um operador usa a saída de um modelo. A base conceptual vem de literatura pública de aprendizagem estatística — em particular, da ideia de predição conforme e de garantias de cobertura — aplicada ao contexto de avaliação de ameaças.

O problema da confiança decorativa

Os modelos de aprendizagem automática emitem, por defeito, números que parecem confiança. Um classificador devolve uma pontuação alta e o operador lê aquilo como certeza. O problema é que essa pontuação é calibrada para a distribuição em que o modelo foi treinado, não para as condições em que está a ser usado. Em ambientes adversariais, a distribuição muda — porque o adversário é, entre outras coisas, alguém que trabalha ativamente para a mudar.

Assim, um sistema não calibrado tende a ser confiante exatamente onde deveria hesitar. É nas situações atípicas, para as quais há pouca evidência, que a pontuação bruta engana com mais facilidade. E é nessas situações que a decisão mais importa. Confiança decorativa não é um detalhe de interface; é um modo de falha.

Há uma segunda face do problema. Mesmo quando a incerteza é representada, costuma ser representada como um número único. Isso força o operador a traduzir "probabilidade" em "decisão" sem saber quão frágil é a estimativa. Uma probabilidade sem garantia não informa o que acontece nos casos-limite, e são os casos-limite que definem a fiabilidade de um sistema em operação real.

Predições com garantia de cobertura

A abordagem que adotamos parte de uma mudança de pergunta. Em vez de perguntar "qual é a classe mais provável?", perguntamos "qual é o conjunto de hipóteses que contém a resposta verdadeira com uma taxa de cobertura declarada?". Esta formulação tem uma propriedade valiosa: a garantia é sobre o conjunto, não sobre o acerto individual, e por isso pode ser verificada estatisticamente ao longo de muitas predições.

Na prática, o sistema produz conjuntos de previsão. Se o conjunto é pequeno, o modelo está a informar com precisão útil. Se o conjunto é grande, o modelo está a declarar honestamente que vários cenários permanecem compatíveis com a evidência disponível. Em ambos os casos, o operador recebe algo que pode ser usado: uma lista de hipóteses com uma garantia de cobertura associada, em vez de uma aposta pontual sem margem declarada.

Esta mudança altera o comportamento de quem opera. Um analista que vê um conjunto estreito trata a informação como acionável dentro dos limites declarados. Um analista que vê um conjunto amplo sabe que precisa de mais evidência antes de agir, e sabe que essa necessidade é uma propriedade do estado do conhecimento, não uma falha do sistema. A plataforma passa a comunicar o que sabe e o que não sabe com a mesma clareza.

Da estatística à decisão operacional

A garantia de cobertura só tem valor se chegar à decisão. Por isso, a saída dos modelos é integrada no processo operacional em três níveis. No primeiro, a plataforma reporta a garantia como parte da saída, e não como nota de rodapé. No segundo, o envelope de autonomia trata a largura do conjunto como critério: hipóteses com cobertura ampla não autorizam ação de alto impacto sem revisão humana. No terceiro, o desempenho é monitorizado ao longo do tempo, porque uma garantia estatística é uma afirmação sobre uma sequência de decisões, e afirmações desse tipo precisam de acompanhamento contínuo.

Este desenho torna a incerteza operacionalmente útil em vez de apenas epistemicamente correta. Um sistema que declara cobertura permite que a organização defina políticas explícitas: o que fazer quando a evidência é forte, o que fazer quando é ambígua, quem decide em cada caso. Sem essa declaração, as políticas existem informalmente, na cabeça de cada analista, e não podem ser auditadas.

É também uma forma de disciplina contra o hype. Prometer precisão sem garantia é fácil; declarar cobertura e submetê-la a verificação é difícil. Preferimos o caminho difícil, porque é o único compatível com o tipo de consequência que os nossos clientes enfrentam.

O que isto significa para a defesa

Em defesa, a decisão raramente é binária e quase nunca é tomada com informação completa. O operador escolhe entre hipóteses concorrentes, sob pressão de tempo, com consequências assimétricas. Neste contexto, uma ferramenta que comunica incerteza calibrada é mais valiosa do que uma ferramenta que comunica certeza — porque a certeza falsa elimina a hesitação exatamente quando a hesitação seria correta.

Há também um ganho de comunicação institucional. Quando uma plataforma documenta a cobertura das suas predições, torna possível explicar a terceiros por que razão uma decisão foi tomada sob determinada evidência. Isso serve à auditoria, à supervisão e à cooperação entre instituições que precisam de partilhar conclusões sem partilhar todos os dados que as originaram.

No fim, a pergunta que um sistema maduro deve saber responder não é apenas "o que vai acontecer?", mas "com que garantia afirmamos isso?". A Zendrix trata a segunda pergunta como parte da resposta. Um sistema que sabe o que sabe — e que sabe declarar os limites desse saber — é um sistema em que um comandante pode confiar sob pressão.