설계에 의한 인간 통제: 단속적 비마비 원칙

국방 분야의 자율 AI에 관한 공개 논쟁은 똑같이 비생산적인 두 극단 사이를 오갑니다. 한쪽에는 모든 자율성을 거부하려는 공포가 있어, 모든 미세 결정마다 인간이 개입할 것을 요구합니다. 다른 쪽에는 모든 것을 기계에 위임하려는 환희가 있어, 인간의 감독을 제거해야 할 지연으로 규정합니다. 두 입장 모두 같은 이유로 실패합니다. 즉, 인간 통제를 양의 문제로 취급하는 반면, 중요한 것은 위치이기 때문입니다.

Zendrix는 우리가 단속적 비마비 원칙이라 부르는 제3의 길을 택합니다. 이는 단순한 관찰에서 시작됩니다. 사이버 방어에서 적의 시계는 위원회의 시계가 아닙니다. 매 단계마다 인간과 상의하기 위해 작전을 중단하는 것은 공격자에게 주도권을 넘겨주는 것입니다. 그러나 모든 감독을 포기하는 것은 책임을 질 수 없는 인공물에 책임을 전가하는 것입니다. 이 원칙은 인간의 권한을 결과를 바꾸는 바로 그 지점에 위치시키고, 그 외 모든 곳에서는 기계 속도를 풀어줌으로써 이 긴장을 해소합니다.

두 가지 대칭적 실패

마비는 알아보기 쉽습니다. 인간의 승인 없이는 어떤 행동도 일어나지 않으며, 침입이 진행되는 동안 시스템은 값비싼 방관자가 됩니다. 권한 포기는 더 미묘한데, 그것이 효율성으로 위장하기 때문입니다. 시스템은 행동하고, 성공을 선언하며, 아무도 그로 인해 발생한 결과에 대해 답할 수 없습니다. 두 경우 모두 최종 결과는 동일합니다. 즉, 통제의 상실입니다. 첫 번째는 과도한 마찰을 통해서, 두 번째는 감독의 부재를 통해서입니다.

단속적 비마비는 이 두 실패를 똑같이 중대하게 취급합니다. 인간의 개입을 극대화하려 하지도, 최소화하려 하지도 않습니다. 각 결정 부류마다 인간의 존재가 올바른 결과의 확률을 바꾸는지 묻습니다. 바꾼다면 인간은 필수입니다. 바꾸지 않는다면 인간의 존재를 요구하는 것은 미덕의 탈을 쓴 병목을 만드는 것에 불과합니다.

덜 논의되는 세 번째 오류도 있습니다. 즉, 인간 운영자가 반드시 시스템보다 더 많은 맥락을 보유한다고 가정하는 것입니다. 텔레메트리로 포화된 환경에서는 종종 그 반대가 사실입니다. 과부하된 인간은 잘 정의된 범위 내의 기계보다 더 나쁜 결정을 내립니다. 이는 능력의 부족이 아니라 시간과 정리된 맥락의 부족 때문입니다. 인간 통제를 설계한다는 것은 무엇보다도 인간의 결정을 가능하게 하는 맥락을 설계하는 것입니다.

인간의 권한이 양보할 수 없는 곳

어떤 결정은 결코 위임되지 않습니다. 생명에 대한 위험을 수반하는 결정에는 지연, 운영 비용, 시스템의 정교함과 무관하게 항상 인간의 권한이 요구됩니다. 전략적 결과를 초래하는 비가역적 행동과 기관 간 관계의 상태를 바꾸는 확전에도 마찬가지입니다. 그 지점에서 플랫폼은 관찰하고, 상관시키고, 시뮬레이션하고, 권고하고, 준비합니다. 그러나 결정의 선을 넘지 않습니다.

설계에서 "인간의 권한"이 무엇을 의미하는지 이해하는 것이 중요합니다. 인간은 모든 것이 이미 잘못된 후에 눌리는 비상 버튼도, 승인 대기열에 찍히는 도장도 아닙니다. 인간은 아키텍처의 일부입니다. 그렇기 때문에 공학적 질문은 "인간이 승인하는가?"가 아니라 "인간이 몇 초 안에 결정을 내릴 충분한 맥락을 가지고 있는가?"입니다. 그 차이는 막대합니다. 운영자에게 준비된 결정, 즉 선택지와 예상 결과, 명시적 불확실성을 함께 제시하는 시스템은 빠르고 잘 정보에 기반한 인간의 선택을 가능하게 합니다. 원시 데이터를 운영자의 무릎에 쏟아붓는 시스템은 감독을 연극으로 만듭니다.

결과가 가역적인 곳에서의 기계 속도

선의 반대편에는 기다려서는 안 되는 작업들이 있습니다. 즉, 탐지, 상관, 우선순위 지정, 맥락 강화, 가역적 봉쇄, 증거 수집, 비례적 대응입니다. 그 영역에서 자율성은 명시적 행동 한계를 정의하는 형식적 범위 내에서 기계 속도로 작동합니다. 자율성은 권한이 아닙니다. 자율성은 실행할 수 있는 것을 실행하며, 실행할 수 없는 것을 정확히 알고 있습니다.

그 규율이 자율성을 두렵게 하는 것이 아니라 유용하게 만듭니다. 자신의 한계를 모른 채 행동하는 시스템은 위험입니다. 자신의 한계를 알고 그 근처에서 안전하게 작동하는 시스템은 운영상의 이점입니다. 비마비가 단속적인 것은 정지 지점이 일반적 원칙에서 물려받은 것이 아니라 의도적으로 선택되기 때문입니다. 그리고 모든 플랫폼 역량과 마찬가지로, 그 영역의 각 행동은 형식적 범위 내에서 감사 추적과 선언된 효과의 암호학적 검증과 함께 실행됩니다.

핵심은 반복할 가치가 있습니다. 범위를 가진 자율성은 성급하게 이루어진 양보가 아닙니다. 그것은 인간 운영자가 플랫폼이 가역적 사건에 밀리초 단위로 대응한다는 것을 알고 잠들 수 있게 하며, 결정이 자신의 몫일 때 깨우는 것입니다. 그것이 우리가 추구하는 균형입니다. 시스템이 모든 것을 결정하지도 않고, 인간이 모든 것에 호출되지도 않습니다.

면책 조항이 아닌 공학으로서의 윤리

이 중 어느 것도 수사로는 작동하지 않습니다. 인간 통제가 설계에 없다면, 그것은 존재하지 않습니다. 그렇기 때문에 플랫폼은 변조 흔적이 남는 감사 추적을 유지하고, 생성하는 인공물에 암호학적으로 서명하며, 모든 행동에 대해 그것이 어떤 권한 아래 실행되었고 어떤 효과를 선언했는지 기록합니다. 감사는 몇 달 후에 결정을 재구성합니다. 자율성 수준은 서사가 아니라 형식적이고 검증 가능합니다.

이런 의미에서 운영 윤리는 공학적 규율입니다. 즉, 의도가 아니라 증거로 증명됩니다. 개방형 표준, 암호학적 검증, 지속적 감사는 규정 준수의 부속품이 아니라, 어떤 인간도 따라갈 수 없는 속도로 행동하는 시스템을 신뢰할 수 있게 만드는 것입니다.

자율성은 방어를 가속하고, 인간은 무엇이 중요한지 결정합니다. 그것이 원칙입니다. 그것은 운영을 늦추지 않습니다. 진정으로 중요한 것에 대한 통제를 잃지 않고 최대 속도를 가능하게 하는 것입니다.