ミッション・コンピテンス：自らにできることを知るシステム

重要システムの運用者に、人工知能プラットフォームで最も恐れるものを尋ねれば、答えが「失敗すること」になることはまれである。答えは「できないことをできると主張すること」である。幻の能力は、欠けた能力より悪い。欠けた能力は知られ、回避される。幻の能力は信じられる。世界がその差を請求する瞬間まで。

Zendrixはこの問題をアーキテクチャの特性として扱う。我々はミッション・コンピテンスと呼ぶ。それは、システムが自らと運用者に対して、置かれた文脈で検証された能力のみを宣言する規律である。本稿は、形式的包絡線を備えた自律性と較正された不確実性に関する我々の刊行物に連なる、このモデル化の原則を記述する。

能力は二値ではなく文脈的である

能力管理における最も一般的な誤りは、それを装備の恒久的属性として扱うことである。「このシステムには光学センサがある」は目録上、事実として現れる。しかし晴天下の光学センサと閉じた遮蔽下の同じセンサは、運用上、二つの異なるシステムである。能力は装備、文脈、検証の交差に存在する。そして三つの要素のいずれかを無視するモデルは、誤った自己認識を生む。

Zendrixのコンピテンス・モデル化はこの交差を明示的に表現する。各能力は、それが検証された文脈——環境条件、通信レジーム、タスクのクラス——に結び付けられ、各（能力、文脈）の組には、プラットフォームが行動のガバナンスに既に用いているのと同じ、宣言され監査可能な形式の自律水準が対応する。広い文脈で検証された能力は広い自律性で作動する。未検証の文脈における同じ能力は水準ゼロで作動する。すなわち、システムはそこでは自分が知らないことを知っている。

可用性ではなくコンピテンスによる選択

最も重要な運用上の帰結は、選択基準の変化である。従来のシステムは利用可能なものによってタスクを割り当てる。どの資源が存在するか、どれが空いているか、どれが応答するか。ミッション・コンピテンスをもつシステムは検証されたものによって割り当てる。どの資源がその文脈におけるそのタスクへの検証済みコンピテンスをもつかである。

違いは困難な事例において完全に現れる。曇天下では、直接の見通しに依存する撮像資源は利用可能でありながら無能であり得る。遮蔽に影響されない能動センシング資源は、利便性が低くても有能であり得る。可用性による選択は前者を昇格させ、運用中に誤りを発見する。コンピテンスによる選択は後者を昇格させ、選択の理由を監査証跡に記録する。そのため決定は後から再構成され、異議を申し立てられ得る。

これは内部の自己割当にも等しく当てはまる。システムが計画するとき、理想的な条件下で持つであろうコンピテンスではなく、置かれた文脈で持つコンピテンスで計画する。現在の文脈で未検証の能力を要求する計画は、降格され、再割当され、あるいは拒否される。決して期待のもとに実行されない。

未踏の文脈：水準ゼロの誠実さ

検証が存在しない文脈は常にある。新しい環境、前例のない条件、かつて試されたことのない組み合わせである。成熟した対応は、装飾的な自信をもって外挿することではない。水準ゼロを宣言し、それに従って作動することである。

水準ゼロは麻痺ではない。システムが明示的かつ監査可能にこう述べることである。「この文脈では、この能力は検証されていない。推奨はするが、自律的に実行はしない」。人間の権限は宣言された不確実性とともに推奨を受け取り、決定する。決定が続行であるならば、結果は検証基盤を養い、将来のコンピテンスは証拠をもって獲得され、類推によって推定されない。これが、システムが自らの包絡線を責任ある形で拡張する方法である。すなわち、人間の監督とともに踏破された各新文脈は、次回のために検証済みの文脈になる。

このアーキテクチャは運用者とシステムの関係を変える。運用者はいつ信頼すべきかを推測する必要がない。システムはバッテリ残量を宣言するのと同じ客観性で、文脈ごとの自らのコンピテンス水準を宣言する。信頼は感情であることをやめ、インターフェースになる。背後には数値、水準、監査証跡がある。

測定されたコンピテンス：証拠文化への橋

ミッション・コンピテンスは測定されて初めて実在する。Zendrixはこのモデル化のインフラストラクチャとして、（能力、文脈）の組ごとの検証記録を維持する。高忠実度シミュレーションで演練されたシナリオ、達成された受入下限値、検証の日付とバージョンである。検証記録のないコンピテンスは存在しないものとして扱われる。悲観主義からではなく、代替案がまさに本稿の冒頭の幻であるからである。

これらの記録は、我々が公に述べてきた保証の仕組みに統合される。形式的で検証可能な自律水準、改竄に耐える監査証跡、行動の宣言された効果の暗号学的検証である。コンピテンス・モデルはシステム上の表示層ではない。ガバナンス・システムの一部であり、割当の各決定で参照され、各選択で記録される。

デュアルユースと主権

文脈的コンピテンスの問題は、防衛と重要インフラストラクチャを同じ強さで横断する。電力網の運用者は、異常検知システムが今日の負荷レジームに対して検証されているかを知る必要がある。民間防衛は、画像解析能力が夜間と降雨の条件で検証されているかを知る必要がある。航空当局は、無人システムが回線劣化下で何をなし得て、何をなし得ないかを知る必要がある。いずれの場合も問いは同じであり、誠実な答えは明示的なモデル化を要求し、楽観主義を要求しない。

主権の次元もある。自らのコンピテンスを知り宣言するシステムは、自国によって監査可能なシステムである。検証、下限値、水準は国家の管轄と管理の下にあり、外国の供給者がそのブラックボックスが「できること」について述べる言葉に依存しない。内部の透明性と主権はともに進む。

開発の現状

ミッション・コンピテンスのモデル化は、Zendrixの検証環境において実装され運用されており、自律性のガバナンスと、以前の刊行物で述べたシミュレーション記録に統合されている。割当の基準——どの証拠がコンピテンスを昇格させ、どの劣化がそれを降格させるか——は明示的で、版管理され、監査可能であり、検証サイクルごとに厳格化を続けている。

制度的立場は常と同じであり、新しい対象に適用される。我々は全知のシステムを約束しない。自らにできることを知り、できないことを宣言し、その境界を決して黙って越えないシステムを構築する。そのようなシステムはデモンストレーションでは印象づけない。運用で印象づける。防衛と重要インフラストラクチャの基盤が印象づける必要があるのは、まさにそこである。