ゲートとしてのシミュレーション：物理世界の前に行う検証

成熟した自律システム工学はすべて同じ原則に収束する。すなわち、ある能力が機能しないことを発見するのに物理世界は最悪の場所であるということだ。高価で、遅く、危険であり、飛行し、航行し、あるいはインフラストラクチャ上で作動するシステムの場合、実地で発見される誤りは不可逆的な結果をもたらし得る。航空宇宙産業と防衛産業はこれを数十年かけて学んできた。Zendrixは同じ規律——ハードウェア・イン・ザ・ループ、高忠実度シミュレーションによる検証、数値による受入——を、自律運用のためのインテリジェンス基盤の開発に適用する。

本稿は、このシミュレーションゲートが我々の工学的実践において何を意味するかを、方法の水準で記述する。実試験に反対する宣言ではない。実試験が価値をもつのは、シミュレーションがその仕事を果たした後である理由の記述である。

高忠実度シミュレーションはアニメーションではない

よくある誤解がある。シミュレーションとはすべてが機能する理想化された世界であり、したがってほとんど何も証明しないという誤解である。有用なシミュレーションはその逆である。それは世界を困難にするものを正確にモデル化する。

Zendrixのシミュレーション環境では、車両の動力学が測定されたパラメータで近似される。慣性、アクチュエータの飽和、応答遅延を含む。通信はパケット損失、変動遅延、状態の経年化をもってモデル化される。エージェントは実地で受け取るのと同じく、遅延し不完全な情報を受け取る。センサはノイズを伴う読み取りを生成し、ドリフトと部分的な故障を含む。バッテリは尽きる。回線は落ちる。風は存在する。

忠実度には正確な認識論的目的がある。ある能力が、正しい困難を含むシミュレーション環境を生き延びるならば、それが生み出す証拠は既知の余裕をもって実世界へ転移する。理想化された環境のみを生き延びるならば、その証拠は何の価値もない。だからこそシミュレーションの品質は、その不完美の誠実さによって測られ、そのグラフィックスの滑らかさによっては測られないのである。

決定論：同じ問いには同じ答え

検証ゲートは再現性を要求する。今日は合格し明日は理由もなく失敗する試験は何も検証しない。ただ慰めるだけである。だからこそZendrixのシミュレーション環境は構築によって決定論的である。同じ乱数シードと同じシナリオが与えられれば、センサノイズとパケット損失を含め、システムの完全な軌跡がビット単位で再現可能である。

決定論は人工性を意味しない。意味するのは、ランダム性が制御されていることである。ノイズは存在するが、再現可能である。これにより、非決定論的試験では不可能な規律が可能になる。疑わしい挙動が現れたとき、それを再実行し、切り分け、診断できる。修正が行われたとき、問題を露呈させたまさにそのシナリオに対して検証できる。そしてシードを体系的に変えて、結果が単一シナリオの幸運ではないことを保証できる。シードに依存する堅牢性は堅牢性ではない。

測定された下限値：受入は形容詞ではなく数値

方法の第三の要素は、文化的に最も重要である。すなわち、測定の前に定義され、後から決して緩められない定量的な受入基準である。

ゲートを通過する各能力は下限値を担う。すなわち、シミュレーション環境で達成しなければならない最小の測定可能値である。最大ドリフト以下の航法精度、宣言された限界内での通信故障への反応時間、部分的な撃破下で一定の水準を上回る協調能力の保持率。下限値は、システムが実際に達成するものの誠実な測定から設定され、その後、要件として凍結される。コード変更が下限値を下回らせるとき、ゲートは閉じる。すなわち、その変更は通らない。

この規律には、我々が受け入れる不人気な帰結がある。システムが下限値に達しないとき、正しい対応はシステムを改善することであり、下限値を引き下げることでは決してない。結果に合わせて調整される受入基準は、基準であることをやめ、装飾になる。以前の刊行物で述べたZendrixの証拠文化は、ここで最も具体的な形で適用される。すなわち、測定されないものは宣言されず、測定されて下限値に達しないものは公表されない。

反芝居コントロール：システムはゲートを欺けない

真の検証と芝居の検証を分ける微妙な点がある。ゲートは、欺きながら通過することが不可能である場合にのみ価値がある。機械学習システムは、洗練された欺瞞の形態に特に陥りやすい。すなわち、正しい答えを生み出す推論を実行せずに正しい答えと相関すること、一般化ではなくシナリオを記憶すること、試験環境の情報漏洩を利用することである。

だからこそZendrixのシミュレーション環境は、設計による陰性コントロールを含む。システムが正解することを要求する各試験に対して、もっともらしい偽者が失敗するはずかを検証する鏡像試験が存在する。不活性なエージェントが下限値を通過できるか。標準的な挙動を繰り返すだけのシステムが指標に達するか。実地でのみ利用可能であるべき情報が、シミュレーション上のプランナに漏れていないか。偽者がゲートを通過するならば、問題はゲートである。そしてゲートの修正は、通過を祝うことに先立つ。

これらのコントロールは学術的な偏執ではない。自律システムが検証されたと主張することと、検証されたと知ることの違いである。防衛インフラストラクチャにとって、後者の姿勢だけが許容される。

ハードウェア・イン・ザ・ループ：飛行前の総稽古

ゲートの最終段階はハードウェア・イン・ザ・ループ・シミュレーションである。実際の運用ソフトウェア——いつか物理ハードウェアを指揮するのと同じコード——が、車両の忠実なシミュレータに対して実行され、実際の機器と交換するのと同じメッセージを、同じ形式で、同じ遅延をもって交換する。唯一の違いは、何も離陸しないことである。

HILの価値は、リスクの一カテゴリ全体を排除することにある。すなわち、検証ソフトウェアと運用ソフトウェアが別々のシステムであり、実験室では一致するが実地では乖離するというリスクである。Zendrixのゲートには、特権的な「試験モード」は存在しない。シミュレーションを通過するシステムは、実地に赴くシステムである。そして実際の運用モードは、明示的かつ記録された決定によってのみ有効化され、事故によっても既定によっても有効化されない。

ゲートが守るもの

シミュレーションゲートは同時に三つのものを守る。運用を守る。すなわち、未成熟なものは実地に到達しない。制度を守る。すなわち、昇格の決定は監査可能であり、記録された数値と凍結された基準を伴う。そして工学の内なる真実を守る。すなわち、測定された証拠をもつ能力のみを昇格させるチームは、すべてのうち最も危険な負債を蓄積しない。すなわち、自らの能力への誤った信念である。

これが、Zendrixが無人システムを含む将来の自律運用のための技術基盤を構築する方法である。物理世界をプロセスの終わりに置き、決して始めには置かない。シミュレーションは実地検証を置き換えない。それは実地検証を、その名に値するほど安全で、安価で、誠実にするものである。