設計による人間の統制：断続的非麻痺のドクトリン

防衛における自律型AIに関する公的議論は、等しく非生産的な二つの極端の間を揺れ動く傾向がある。一方には、あらゆる自律性を拒否しようとする恐慌があり、あらゆる微細な決定に人間の介在を要求する。他方には、すべてを機械に委ね、人間の監督を排除すべき遅延と見なす陶酔がある。両者は同じ理由で失敗する。すなわち、人間の統制を量の問題として扱うが、重要なのは位置である。

Zendrixは第三の道を取る。我々はこれを断続的非麻痺のドクトリンと呼ぶ。それは単純な観察から始まる。サイバー防衛において、敵対者の時計は委員会の時計ではない。あらゆる段階で人間に諮るために作戦を停止することは、攻撃者に主導権を渡すことである。しかし、すべての監督を放棄することは、責任を負い得ない人工物に責任を移譲することである。このドクトリンは、人間の権限をまさに結果を変える位置に据え、それ以外のすべてにおいて機械の速度を解放することで、この緊張を解消する。

二つの対称的な失敗

麻痺は認識しやすい。人間の承認なしにはいかなる行動も生じず、システムは侵入が進む中で高価な傍観者となる。放棄はより微妙である。なぜなら、それは効率の姿を装うからである。システムは行動し、成功を宣言し、生じた効果に対して誰も説明できない。いずれの場合も、最終的な結果は同じである——統制の喪失。第一においては過剰な摩擦を通じて、第二においては監督の不在を通じて。

断続的非麻痺は、これら二つの失敗を等しく重大なものとして扱う。人間の介入を最大化しようとも最小化しようともしない。決定の各クラスについて、人間の存在が正しい結果の確率を変えるかどうかを問う。変えるのであれば、人間は必須である。変えないのであれば、人間の存在を要求することは、美徳の装いの下にボトルネックを構築しているにすぎない。

さらに、あまり議論されない第三の誤りがある。人間の操作者が必ずしもシステムよりも多くの文脈を保持していると仮定することである。テレメトリで飽和した環境では、多くの場合その逆が真である。過負荷の人間は、明確に定義された包絡内の機械よりも悪い決定を下す——能力の欠如ではなく、時間と組織化された文脈の欠如による。人間の統制を設計することは、何よりもまず、人間の決定を可能にする文脈を設計することを意味する。

人間の権限が譲渡不能な領域

ある種の決定は決して委譲されない。生命へのリスクを伴う決定には、常に人間の権限を要求する——遅延、運用コスト、システムの洗練度にかかわらず。同じことは、戦略的帰結を持つ不可逆的な行動、および機関間の関係の状態を変えるエスカレーションにも当てはまる。それらの地点において、プラットフォームは観察し、相関させ、シミュレートし、推奨し、準備する——しかし決定の線を越えることはない。

設計において「人間の権限」が何を意味するかを理解することが重要である。人間は、すべてがすでに失敗した後に押される緊急ボタンではなく、承認待ち行列への印でもない。人間はアーキテクチャの一部である。それゆえ工学的な問いは「人間が承認するか」ではなく、「人間が数秒で決定するのに十分な文脈を持っているか」である。その差は甚大である。操作者に準備された決定——選択肢、予測される帰結、明示的な不確実性を伴う——を手渡すシステムは、迅速で十分な情報に基づく人間の選択を可能にする。生データを操作者の膝に投げ出すシステムは、監督を芝居に変える。

帰結が可逆的な領域における機械の速度

線の反対側には、待ってはならない作戦がある。検知、相関、優先順位付け、文脈の充実、可逆的な封じ込め、証拠の収集、比例的な応答である。その帯域において、自律性は機械の速度で動作し、明示的な行動限界を定義する形式的な包絡内で機能する。自律性は権限ではない。それは実行してよいものを実行し、実行してはならないものを正確に知っている。

その規律が、自律性を恐ろしいものではなく有用なものにする。限界を知らずに行動するシステムはリスクである。限界を知り、その近傍で安全に動作するシステムは運用上の優位である。非麻痺が断続的であるのは、停止点が意図的に選ばれているからである——一般的なドクトリンから継承されたものではない。そして、あらゆるプラットフォーム能力と同様に、その帯域における各行動は形式的な包絡内で実行され、監査証跡と宣言された効果の暗号学的検証を伴う。

中心的な点は繰り返すに値する。包絡を伴う自律性は、急ぎの中でなされた譲歩ではない。それは、プラットフォームが可逆的な事象に対してミリ秒で反応することを知りつつ操作者が眠ることを可能にし、決定が操作者自身のものであるときに呼び覚ます。それが我々の追求する均衡である。システムがすべてを決定するのでもなく、人間がすべてに対して召喚されるのでもない。

免責事項ではなく工学としての倫理

これらのいずれも、修辞として機能しない。人間の統制が設計になければ、それは存在しない。それゆえプラットフォームは、改ざん検知可能な監査証跡を維持し、生成する成果物に暗号学的署名を行い、あらゆる行動について、それがどの権限の下で実行され、どのような効果を宣言したかを記録する。監査は数か月後に決定を再構成する。自律性のレベルは形式的かつ検証可能であり、物語ではない。

この意味における運用倫理は、工学的規律である。それは意図ではなく証拠によって証明される。オープン標準、暗号学的検証、継続的監査は、コンプライアンスの付属品ではない——人間が追随できないほど速く行動するシステムを信頼することを可能にするものである。

自律性は防衛を加速させ、人間は何が重要かを決定する。それがドクトリンである。それは作戦を遅らせない。真に重要なものの統制を失うことなく最大速度を可能にするものである。