IA che sa ciò che sa: incertezza calibrata con garanzie statistiche

Un sistema di IA che informa una decisione di difesa pone sempre all'operatore la stessa domanda, anche quando non la esplicita: quanto ti fidi di questa risposta? Quando la confidenza è un numero decorativo, la decisione si fonda su una sensazione. Quando è una garanzia statistica, la decisione si fonda su una proprietà verificabile. La differenza tra queste due situazioni è ciò che separa l'analisi utile dall'analisi pericolosa.

In Zendrix trattiamo l'incertezza calibrata come un requisito ingegneristico, non come un raffinamento accademico. Questo articolo descrive il problema, l'approccio che adottiamo e perché cambia il modo in cui un operatore utilizza l'output di un modello. La base concettuale proviene dalla letteratura pubblica sull'apprendimento statistico — in particolare, dall'idea di previsione conforme e di garanzie di copertura — applicata al contesto della valutazione delle minacce.

Il problema della confidenza decorativa

I modelli di apprendimento automatico emettono, per impostazione predefinita, numeri che sembrano confidenza. Un classificatore restituisce un punteggio elevato e l'operatore lo interpreta come certezza. Il problema è che il punteggio è calibrato sulla distribuzione su cui il modello è stato addestrato, non sulle condizioni in cui viene utilizzato. In ambienti adversariali la distribuzione cambia — perché l'avversario è, tra le altre cose, qualcuno che opera attivamente per modificarla.

Un sistema non calibrato tende quindi a essere sicuro esattamente dove dovrebbe esitare. È nelle situazioni atipiche, per le quali esistono poche evidenze, che i punteggi grezzi inducono in errore più facilmente. E sono proprio le situazioni in cui la decisione conta di più. La confidenza decorativa non è un dettaglio dell'interfaccia; è una modalità di guasto.

Il problema ha una seconda faccia. Anche quando l'incertezza è rappresentata, di solito lo è come un singolo numero. Ciò costringe l'operatore a tradurre una probabilità in una decisione senza sapere quanto sia fragile la stima. Una probabilità senza garanzia non dice nulla su ciò che accade nei casi limite, e sono i casi limite a definire l'affidabilità di un sistema nell'operatività reale.

Previsioni con garanzie di copertura

L'approccio che adottiamo parte da un cambio di domanda. Invece di chiedere quale classe sia più probabile, chiediamo quale insieme di ipotesi contenga la risposta vera a un tasso di copertura dichiarato. Questa formulazione ha una proprietà preziosa: la garanzia riguarda l'insieme, non un singolo esito, e pertanto può essere verificata statisticamente su molte previsioni.

In pratica, il sistema produce insiemi di previsione. Se l'insieme è piccolo, il modello informa con una precisione utile. Se l'insieme è ampio, il modello dichiara onestamente che diversi scenari restano compatibili con le evidenze disponibili. In entrambi i casi l'operatore riceve qualcosa di utilizzabile: un elenco di ipotesi con una garanzia di copertura associata, invece di una scommessa puntuale priva di margine dichiarato.

Questo cambiamento altera il comportamento di chi opera. Un analista che vede un insieme ristretto tratta l'informazione come azionabile entro limiti dichiarati. Un analista che vede un insieme ampio sa che servono più evidenze prima di agire, e sa che questa necessità è una proprietà dello stato di conoscenza, non un guasto del sistema. La piattaforma arriva a comunicare ciò che sa e ciò che non sa con uguale chiarezza.

Dalla statistica alla decisione operativa

Una garanzia di copertura vale qualcosa solo se raggiunge la decisione. L'output del modello è quindi integrato nel processo operativo su tre livelli. Primo, la piattaforma riporta la garanzia come parte dell'output, non come nota a piè di pagina. Secondo, l'inviluppo di autonomia tratta l'ampiezza dell'insieme come criterio: le ipotesi con copertura ampia non autorizzano azioni ad alto impatto senza revisione umana. Terzo, le prestazioni sono monitorate nel tempo, perché una garanzia statistica è un'affermazione su una sequenza di decisioni, e affermazioni di questo tipo richiedono un seguito continuo.

Questo design rende l'incertezza operativamente utile, non solo epistemicamente corretta. Un sistema che dichiara la copertura consente all'organizzazione di definire politiche esplicite: cosa fare quando le evidenze sono solide, cosa fare quando sono ambigue, chi decide in ciascun caso. Senza tale dichiarazione, le politiche esistono informalmente, nella testa di ogni analista, e non possono essere sottoposte ad audit.

È anche una forma di disciplina contro l'enfasi promozionale. Promettere accuratezza senza garanzia è facile; dichiarare la copertura e sottoporla a verifica è difficile. Preferiamo il percorso difficile, perché è l'unico compatibile con il tipo di conseguenze che i nostri clienti affrontano.

Cosa significa per la difesa

In ambito difensivo, la decisione è raramente binaria e quasi mai presa con informazioni complete. L'operatore sceglie tra ipotesi concorrenti, sotto pressione temporale, con conseguenze asimmetriche. In quel contesto, uno strumento che comunica incertezza calibrata è più prezioso di uno strumento che comunica certezza — perché la falsa certezza elimina l'esitazione esattamente quando esitare sarebbe corretto.

Vi è anche un guadagno nella comunicazione istituzionale. Quando una piattaforma documenta la copertura delle sue previsioni, diventa possibile spiegare a terzi perché una decisione è stata presa sulla base di un determinato corpo di evidenze. Ciò serve all'audit, alla supervisione e alla cooperazione tra istituzioni che devono condividere conclusioni senza condividere tutti i dati che le hanno prodotte.

In definitiva, la domanda a cui un sistema maturo deve rispondere non è solo cosa accadrà, ma con quale garanzia lo affermiamo. Zendrix tratta la seconda domanda come parte della risposta. Un sistema che sa ciò che sa — e che può dichiarare i limiti di quella conoscenza — è un sistema di cui un comandante può fidarsi sotto pressione.