ORBIT — 형식적 외피를 갖춘 자율성

자율 인공지능에 관한 공개 논의는 두 가지 똑같이 비생산적인 극단 사이를 오갑니다. 모든 것을 스스로 결정하는 전능한 시스템에 대한 약속과, 어떤 자율성이든 정의상 통제 불가능하다는 두려움입니다. 어느 입장도 실제 문제를 설명하지 못합니다. 실제 문제는 공학의 문제입니다. 즉, 도중에 중요한 결정에 대한 권한을 상실하지 않으면서 기계 속도로 작동하는 시스템을 어떻게 구축할 것인가 하는 문제입니다.

ORBIT는 이 문제에 대한 Zendrix의 답입니다. 이는 시연 제품이나 개념적 연습이 아닙니다. 우리 플랫폼의 행동을 조직하는, 형식적 경계(envelope)를 갖춘 자율성 계층입니다. 이 글에서는 형식적 경계(envelope)란 무엇인지, 왜 경계(envelope) 없는 자율성이 예측 불가능성인지, 그리고 왜 책임 있는 자율성이 브레이크가 아니라 운영상의 이점인지 설명합니다.

자율성은 권한이 아닙니다

이 논의에서 가장 흔한 혼동은 자율성과 권한을 동의어로 취급하는 것입니다. 이 둘은 서로 다른 것입니다. 자율성은 단계별 개입 없이 실행할 수 있는 능력입니다. 권한은 무엇을 해야 하는지 결정할 권리입니다. 시스템은 막대한 자율성을 가지면서도 권한은 전혀 없을 수 있습니다. 즉, 결정할 자격이 있는 사람이 이미 결정한 것을 정확히 실행할 뿐입니다.

이러한 분리는 국방에서 AI를 진지하게 활용하는 모든 사례의 토대입니다. 생명을 위협하는 결정에는 항상 인간의 권한이 필요합니다. 이는 기술적 한계 때문이 아니라 교리의 문제입니다. 나머지는 기계 속도로 흘러갈 수 있습니다. 바로 그 지점, 즉 인지와 행동 사이의 지연 시간에서 자율성이 이득을 창출하기 때문입니다.

이 구분이 상실되면 두 가지 대칭적인 오류가 나타납니다. 첫째는 마비입니다. 사소하고 되돌릴 수 있는 일을 포함해 모든 것에 인간의 확인을 요구하는 일반적 절차에 의해 역량 있는 시스템이 억제되는 경우입니다. 둘째는 표류입니다. 한계가 어디에 있는지 아무도 명시적으로 선언하지 않았기 때문에 시스템이 시간이 지나면서 행동 범위를 넓히는 경우입니다. 형식적 경계(envelope)는 이 둘 모두를 방지하기 위해 존재합니다.

형식적 경계(envelope)란 무엇인가

형식적 경계(envelope)는 자율 시스템이 무엇을 할 수 있는지에 대한 명시적 사양입니다. 이는 네 가지 질문에 답합니다. 어떤 행동이 허용되는가, 어떤 조건에서, 어느 정도의 감독하에, 누구의 권한으로. 각 답변은 관찰된 행동에서 추론되는 것이 아니라 선언되고, 버전 관리되며, 감사 가능합니다.

실제로 이는 자율성 수준으로 구체화됩니다. 모든 행동이 같은 대우를 받을 자격이 있는 것은 아닙니다. 영향이 적고 되돌리기 쉬운 행동은 자율적으로 실행될 수 있습니다. 지속적인 결과를 낳는 행동은 인간의 검토가 필요합니다. 생명을 위협하는 행동은 항상 공식적으로 지정된 인간의 권한을 필요로 합니다. 수준은 시스템 전체의 속성이 아니라 그 안의 각 행동 분류의 속성입니다.

경계(envelope)는 또한 시스템이 한계에 접근할 때 무슨 일이 일어나는지 정의합니다. 계속 진행한 뒤 사후에 정당화하는 대신, 플랫폼은 멈추고, 상황을 선언하며, 결정을 내릴 권한을 가진 사람에게 결정을 되돌려야 합니다. 이것이 자신이 무엇을 할 수 있는지 아는 시스템과, 자신이 무엇을 할 수 있었는지 사후에야 발견하는 시스템의 차이입니다.

거버넌스와 감사 추적

거버넌스 없는 경계(envelope)는 문서에 불과합니다. 거버넌스는 실천입니다. ORBIT는 세 가지 검증 가능한 요소를 중심으로 거버넌스를 조직합니다. 첫째는 선언입니다. 경계(envelope)는 명시적이고 읽기 쉬우며 운영 책임자가 검토할 수 있어야 합니다. 둘째는 증거입니다. 모든 관련 행동은 무엇을, 언제, 어떤 근거로, 누구의 권한으로 했는지 재구성할 수 있는 기록을 남깁니다. 셋째는 무결성입니다. 이러한 기록은 사후 변경으로부터 보호되므로, 감사는 서술이 아니라 검증이 됩니다.

이러한 속성을 갖춘 감사 추적은 동시에 여러 목적에 기여합니다. 무슨 일이 일어났는지 이해해야 하는 운영자에게 기여합니다. 한계가 존중되었는지 확인해야 하는 감독자에게 기여합니다. 규제 기관, 동맹국, 사회와 같은 제3자에게 자신의 운영이 관리되고 있음을 입증해야 하는 기관 고객에게 기여합니다. 그리고 검증할 수 없는 한계는 안전하게 개선할 수 없기 때문에 개발 자체에도 기여합니다.

거버넌스는 역량 위에 얹은 관료주의가 아닙니다. 신뢰가 가장 희소한 자원인 맥락에서 역량을 사용 가능하게 만드는 것입니다.

왜 이것이 브레이크가 아니라 이점인가

직관적인 반론은 한계가 속도를 떨어뜨린다는 것입니다. 경험은 그 반대를 말합니다. 경계(envelope) 없는 시스템은 조직이 외부로부터 스스로를 보호하도록 강제합니다. 즉, 일반적 절차, 중복 승인, 검토가 필요 없었던 것까지 포함해 모든 것을 똑같이 느리게 만드는 검토입니다. 비용은 운영 전체에 부과됩니다.

경계(envelope)를 갖춘 시스템은 통제를 설계 안으로 옮깁니다. 안전한 것은 기계 속도로 흘러가고, 민감한 것은 마땅히 멈춰야 할 바로 그 지점에서 멈춥니다. 그 결과는 더 낮은 것이 아니라 더 높은 평균 속도이며, 단지 바라기만 하는 것이 아니라 선언할 수 있는 위험 프로파일입니다.

기관 신뢰에 미치는 영향도 있습니다. 핵심 인프라나 국방 역량을 운영하는 조직은 앱을 사듯 자율성을 사지 않습니다. 그들은 권위 앞에서, 그리고 궁극적으로는 사회 앞에서 결정을 정당화해야 합니다. 자신의 한계를 문서화하는 시스템은 그러한 정당화의 비용을 낮추고, 자율성이 승인될 수 있는 맥락의 집합을 넓힙니다.

시간적 차원도 있습니다. 경계(envelope)는 원칙이 바뀌거나, 기술이 발전하거나, 경험이 어떤 한계가 잘못 보정되었음을 보여줄 때 개정되어야 합니다. 불변의 경계(envelope)는 낡아서 장애물이 됩니다. 통제 없는 개정 가능한 경계(envelope)는 용해됩니다. 그래서 선언은 버전 관리됩니다. 모든 변경에는 작성자, 정당화, 날짜가 있으며, 시스템의 다른 어떤 결정과 마찬가지로 감사될 수 있습니다. 방법을 갖추어 갱신되는 한계는 시간이 지나도 신뢰성을 유지하는 한계입니다.

따라서 책임 있는 자율성은 야망의 반대가 아닙니다. 그것은 야망이 중대한 결과를 낳는 영역에서 활용될 수 있게 하는 것입니다. 성숙한 시스템을 정의하는 질문은 그것이 얼마나 많은 자율성을 가졌는가가 아니라, 그것이 무엇을 할 수 있는지 정확히 아는가, 그리고 요구받았을 때 그것을 입증할 수 있는가입니다.