一个为国防决策提供依据的 AI 系统，始终在向操作员提出同一个问题，即便它并未诉诸言语：你对这个答案有多信任？当置信度只是一个装饰性的数字时，决策便建立在感觉之上。当它是一种统计保证时，决策便建立在一个可被检验的性质之上。这两种情形之间的差别，正是有用分析与危险分析之间的分界。
在 Zendrix，我们将校准不确定性视为一项工程要求，而非学术上的精雕细琢。本文阐述这一问题、我们所采用的方法，以及它为何改变了操作员使用模型输出的方式。其概念基础来自统计学习领域的公开文献——尤其是保形预测与覆盖保证的思想——并将其应用于威胁评估的语境之中。
装饰性置信度的问题
机器学习模型默认输出的数字，看起来像是置信度。分类器返回一个高分，操作员便将其解读为确定性。问题在于，该分数是针对模型训练时所处的分布校准的，而非针对其实际使用时的条件。在对抗性环境中，分布会发生漂移——因为对手本身就是积极致力于推动这种漂移的一方。
因此，未经校准的系统恰恰会在本应迟疑之处表现出自信。正是在证据稀少的非典型情境中，原始分数最容易产生误导。而这些情境恰恰是决策最为关键之处。装饰性置信度并非界面细节；它是一种失效模式。
这一问题还有另一面。即便不确定性得到了表达，通常也只是以单一数字的形式呈现。这迫使操作员在不知道估计有多脆弱的情况下，将概率转化为决策。没有保证的概率，无法说明边缘情形下会发生什么，而边缘情形恰恰定义了一个系统在实际运行中的可靠性。
带有覆盖保证的预测
我们所采用的方法，始于问题的转换。我们不再追问哪个类别最有可能，而是追问在声明的覆盖率下，哪个假设集合包含真实答案。这一表述具有一项宝贵性质：保证针对的是集合，而非任何单次命中，因此它可以在大量预测中接受统计验证。
在实践中，系统会生成预测集。若集合很小，说明模型正以有用的精度提供信息。若集合很大，说明模型正诚实地宣告：若干情景仍与现有证据相容。无论哪种情况，操作员都获得了可用的东西：一份带有相关覆盖保证的假设清单，而非一个未声明误差范围的孤注一掷。
这一变化改变了操作者的行为方式。看到窄集合的分析人员，会在声明的限度内将该信息视为可据以行动。看到宽集合的分析人员则知道，在行动之前需要更多证据，并且知道这一需要是知识状态本身的属性，而非系统的失败。平台由此以同等的清晰度传达它所知道的与它所不知道的。
从统计到作战决策
覆盖保证唯有抵达决策才有价值。因此，模型输出在三个层面被整合进作战流程。第一，平台将保证作为输出的一部分予以报告，而非作为脚注。第二，自主性边界将集合的宽度作为一项判据：覆盖范围宽泛的假设，未经人工复核不得授权高影响行动。第三，对性能进行持续监测，因为统计保证是关于一系列决策的主张，而此类主张需要持续跟进。
这一设计使不确定性在作战上变得有用，而不仅仅在认识论上正确。一个声明覆盖率的系统，使组织得以制定明确的政策：证据充分时如何行动，证据含糊时如何行动，每种情形由谁决策。若无此类声明，政策便以非正式的方式存在于每位分析人员的头脑中，无法接受审计。
这同样是一种对炒作的自律。承诺精度而不给出保证是容易的；声明覆盖率并将其交付验证是困难的。我们宁愿选择艰难的道路，因为它是唯一与我们客户所面对的那类后果相容的道路。
这对国防意味着什么
在国防领域，决策很少是二元的，且几乎从不在信息完备的情况下作出。操作员在时间压力下、在后果不对称的条件下，于相互竞争的假设之间作出选择。在此语境中，一个传达校准不确定性的工具，比一个传达确定性的工具更有价值——因为虚假的确定性恰恰在本应迟疑之时消除了迟疑。
机构沟通方面同样有所收益。当平台记录其预测的覆盖率时，便有可能向第三方解释：为何在某一特定证据体系下作出了某项决策。这有助于审计、监督，以及那些需要共享结论而不共享产生结论的全部数据的机构之间的合作。
归根结底，一个成熟的系统必须回答的问题，不仅是将会发生什么，而且是我们以何种保证作出这一断言。Zendrix 将第二个问题视为答案的一部分。一个知其所能知——并能够声明这一知识的限度——的系统，才是指挥官在压力之下可以信任的系统。