ORBIT — 形式的包絡線を備えた自律性

自律型人工知能に関する公の議論は、等しく非生産的な二つの極端の間で揺れ動いている。すべてを自ら決定する全能のシステムという約束と、いかなる自律性も定義上制御不能であるという恐怖である。いずれの立場も真の問題を記述していない。真の問題は工学の問題である。すなわち、要所における重要決定に対する権限を失うことなく、機械の速度で作動するシステムをいかに構築するか、である。

ORBITは、この問題に対するZendrixの回答である。それは実証用の製品でも概念的演習でもない。我々のプラットフォームの挙動を組織する、形式的包絡線を備えた自律性の層である。本稿では、形式的包絡線とは何を意味するのか、なぜ包絡線なき自律性は予測不能性であるのか、そしてなぜ責任ある自律性がブレーキではなく運用上の優位であるのかを説明する。

自律性は権限ではない

この議論における最も一般的な混同は、自律性と権限を同義語として扱うことである。両者は別個のものである。自律性とは、逐次の介入なしに実行する能力である。権限とは、何をなすべきかを決定する権利である。システムは多大な自律性を持ちながら、権限を一切持たないこともあり得る。すなわち、決定する資格を有する者によって決定されたことを正確に実行するのである。

この分離は、防衛におけるAIのいかなる真剣な活用の基盤でもある。生命を危険にさらす決定は、常に人間の権限を要する。それは技術的限界によるものではなく、ドクトリン上の要請である。その他の事柄は機械の速度で流れてよい。まさにそこにおいて、自律性は利得を生む。すなわち、知覚と行動の間の遅延においてである。

この区別が失われると、二つの対称的な誤りが現れる。第一は麻痺である。すなわち、取るに足らず可逆的な事柄を含め、あらゆるものに人間の確認を要求する一般的手続きによって抑制された、有能なシステムである。第二は逸脱である。すなわち、限界がどこにあるかを誰も明示的に宣言しなかったために、時間の経過とともに行動範囲を拡大するシステムである。形式的包絡線は、この両方を防ぐために存在する。

形式的包絡線とは何か

形式的包絡線とは、自律システムが何をなし得るかの明示的な仕様である。それは四つの問いに答える。どの行動が許容されるか、どのような条件の下でか、どの程度の監督を伴うか、そして誰の権限の下でか。各々の答えは、観察された挙動から推測されるのではなく、宣言され、版管理され、監査可能である。

実務上、これは自律水準へと翻訳される。すべての行動が同じ扱いに値するわけではない。影響が小さく高度に可逆的な行動は自律的に実行されてよい。持続的帰結を伴う行動は人間の審査を要する。生命を危険にさらす行動は、常に、正式に指定された人間の権限を要する。水準はシステム全体の属性ではなく、その内部における行動の各分類の属性である。

包絡線はまた、システムがその限界に接近したときに何が起こるかを定義する。すなわち、続行して後から正当化するのではなく、プラットフォームは停止し、状況を宣言し、決定をなす権限を有する者へ決定を返さねばならない。これが、何をなし得るかを知るシステムと、何がなし得たかを事後に発見するシステムとの違いである。

ガバナンスと監査証跡

ガバナンスなき包絡線は文書である。ガバナンスは実践である。ORBITはガバナンスを三つの検証可能な要素の周りに組織する。第一は宣言である。包絡線は明示的で、可読であり、運用に責任を負う者によって検証可能である。第二は証拠である。あらゆる関連行動は、何が、いつ、いかなる根拠に基づき、誰の権限の下でなされたかを再構成し得る記録を残す。第三は完全性である。これらの記録は後からの改変から保護され、監査が物語ではなく検証となる。

これらの性質を備えた監査証跡は、同時に複数の目的に資する。それは、何が起こったかを理解する必要のある運用者に資する。それは、限界が遵守されたことを確認する必要のある監督者に資する。それは、第三者——規制当局、同盟国、社会——に対して自らの運用が統治されていることを示す必要のある機関顧客に資する。そしてそれは、開発そのものにも資する。なぜなら、検証し得ない限界は安全に改善し得ないからである。

ガバナンスは、能力の上に積み重ねられた官僚主義ではない。それは、信頼が最も希少な資源である文脈において、能力を使用可能にするものである。

なぜこれがブレーキではなく優位なのか

直感的な反論は、限界が速度を低下させるというものである。経験は逆を語る。包絡線なきシステムは、組織に外側からの自己防衛を強いる。すなわち、一般的手続き、冗長な承認、すべてを等しく遅らせる審査——審査を要しなかったものまで含めて——である。その費用は運用全体に及ぶ。

包絡線を備えたシステムは、制御を設計の内側へ移す。安全なものは機械の速度で流れ、敏感なものはまさに止まるべき点で止まる。その結果は、より低いのではなくより高い平均速度であり、単に期待されるのではなく宣言し得るリスクプロファイルである。

機関の信頼への効果もある。重要インフラや防衛能力を運用する組織は、アプリを買うようには自律性を買わない。彼らは当局の前で、そして最終的には社会の前で、決定を正当化せねばならない。自らの限界を文書化するシステムは、その正当化の費用を下げ、自律性を認可し得る文脈の集合を広げる。

時間的な次元もある。包絡線は、ドクトリンが変わり、技術が進化し、あるいは経験が限界の較正が不適切であったことを示すときに、改訂されねばならない。不変の包絡線は老朽化して障害となる。統制なき改訂可能な包絡線は溶解する。それゆえ宣言は版管理される。すなわち、あらゆる変更には作成者、正当化、日付があり、システムの他のいかなる決定と同様に監査し得る。方法をもって更新される限界こそ、時間の経過とともに信頼性を保ち続ける限界である。

したがって、責任ある自律性は野心の対極ではない。それは、野心を高い帰結を伴う領域において活用することを可能にするものである。成熟したシステムを定義する問いは、それがどれほどの自律性を持つかではなく、それが自らのなし得ることを正確に把握しているか否か——そして、問われたときにそれを証明し得るか否かである。