自らの知識を自覚するAI：統計的保証を伴う較正済み不確実性

防衛上の意思決定を支援するAIシステムは、たとえそれを明示しない場合であっても、常に操作者に同じ問いを突きつける。すなわち、この回答をどこまで信頼するのか、という問いである。確信度が装飾的な数値にすぎなければ、意思決定は感覚に依拠することになる。確信度が統計的保証であれば、意思決定は検証可能な性質に依拠することになる。この二つの状況の差異こそが、有用な分析と危険な分析を分かつものである。

Zendrixでは、較正済みの不確実性を学術的な洗練ではなく、工学上の要件として扱う。本稿では、この問題の所在、当社が採用する手法、そしてそれが操作者によるモデル出力の利用の仕方をいかに変えるかについて述べる。概念的基盤は、統計的学習に関する公開文献、とりわけconformal prediction（等角予測）と被覆保証の考え方に由来し、これを脅威評価の文脈に適用したものである。

装飾的な確信度という問題

機械学習モデルは、既定では確信度のように見える数値を出力する。分類器が高いスコアを返せば、操作者はそれを確実性として読む。問題は、そのスコアがモデルの訓練時の分布に対して較正されたものであり、実際に使用される状況に対して較正されたものではないという点にある。敵対的環境では分布が変動する。敵対者とは、とりわけ、その分布を能動的に変動させるために活動する者にほかならないからである。

したがって、較正されていないシステムは、まさに躊躇すべき場面において自信過剰に陥る傾向がある。生のスコアが最も容易に誤導するのは、証拠が乏しい非典型的な状況である。そして、それこそが意思決定が最も重要となる状況である。装飾的な確信度はインターフェースの細部ではなく、一つの故障モードである。

この問題にはもう一つの側面がある。不確実性が表現される場合であっても、通常は単一の数値として表現される。そのため操作者は、その推定がいかに脆いかを知らぬまま、確率を意思決定へと翻訳することを強いられる。保証を伴わない確率は、境界事例において何が起こるかについて何も語らない。そして、境界事例こそが実運用におけるシステムの信頼性を規定するのである。

被覆保証を伴う予測

当社が採用する手法は、問いの立て方の変更から始まる。どのクラスが最も確からしいかを問う代わりに、宣言された被覆率において真の答えを含む仮説集合はどれかを問うのである。この定式化には貴重な性質がある。すなわち、保証は集合に関するものであって個々の的中に関するものではないため、多数の予測にわたって統計的に検証可能であるという点である。

実際には、システムは予測集合を生成する。集合が小さければ、モデルは有用な精度をもって情報を提供している。集合が大きければ、モデルは、利用可能な証拠と両立し得る複数のシナリオが依然として存在することを誠実に宣言している。いずれの場合も、操作者は使用可能なものを受け取る。すなわち、宣言された余裕を欠く一点賭けではなく、被覆保証を伴う仮説の一覧である。

この変更は、運用に携わる者の行動を変える。狭い集合を見た分析者は、その情報を宣言された限界の範囲内で行動可能なものとして扱う。広い集合を見た分析者は、行動する前にさらなる証拠が必要であることを知り、またその必要性がシステムの失敗ではなく、知識の状態の性質であることを知る。プラットフォームは、自らが知る事柄と知らない事柄を等しい明瞭さで伝えるようになる。

統計から運用上の意思決定へ

被覆保証は、それが意思決定に到達して初めて価値を持つ。したがって、モデル出力は三つの水準で運用プロセスに統合される。第一に、プラットフォームは保証を脚注ではなく出力の一部として報告する。第二に、自律性の許容範囲は集合の広さを基準として扱う。広い被覆を伴う仮説は、人による審査なしに高影響度の行動を認可しない。第三に、性能は経時的に監視される。統計的保証とは一連の意思決定に関する主張であり、その種の主張には継続的な追跡が不可欠だからである。

この設計により、不確実性は単に認識論的に正しいだけでなく、運用上有用なものとなる。被覆を宣言するシステムは、組織が明示的な方針を定めることを可能にする。すなわち、証拠が強い場合に何を行うか、曖昧な場合に何を行うか、各場合において誰が決定するか、である。そのような宣言がなければ、方針は各分析者の頭の中に非公式に存在するにとどまり、監査することができない。

これは誇大広告に対する一種の規律でもある。保証なしに精度を約束するのは容易であり、被覆を宣言し、それを検証に付すのは困難である。当社は困難な道を選ぶ。それが、当社の顧客が直面する種類の帰結と両立し得る唯一の道だからである。

これが防衛にとって意味するもの

防衛において、意思決定が二項的であることは稀であり、完全な情報の下で行われることはほとんどない。操作者は、時間的圧力の下、非対称な帰結を伴う状況で、競合する仮説の間で選択する。そのような文脈では、較正済みの不確実性を伝える道具の方が、確実性を伝える道具よりも価値が高い。誤った確実性は、まさに躊躇が正しい場面において躊躇を排除してしまうからである。

組織的な伝達における利得も存在する。プラットフォームがその予測の被覆を記録すれば、ある与えられた証拠体系の下でなぜその意思決定がなされたかを第三者に説明することが可能となる。これは監査、監督、そして、結論を共有する必要があるがそれを生み出したデータのすべてを共有する必要はない機関間の協力に資する。

最終的に、成熟したシステムが答えねばならない問いは、何が起こるかだけでなく、いかなる保証をもってそれを主張するかである。Zendrixは第二の問いを答えの一部として扱う。自らの知識を自覚し、その知識の限界を宣言し得るシステムこそ、指揮官が圧力の下で信頼できるシステムである。