자기가 아는 것을 아는 AI: 통계적 보장을 갖춘 보정된 불확실성

국방 의사결정에 정보를 제공하는 AI 시스템은, 비록 말로 꺼내지 않더라도, 항상 운용자에게 같은 질문을 던집니다. 이 답변을 얼마나 신뢰하십니까? 확신이 장식적인 숫자에 불과할 때, 의사결정은 느낌에 기반합니다. 확신이 통계적 보장일 때, 의사결정은 검증 가능한 속성에 기반합니다. 이 두 상황의 차이가 유용한 분석과 위험한 분석을 구분합니다.

Zendrix에서 우리는 보정된 불확실성을 학문적 세련됨이 아니라 엔지니어링 요구사항으로 취급합니다. 이 글은 문제, 우리가 채택하는 접근법, 그리고 그것이 운용자가 모델 출력을 사용하는 방식을 어떻게 바꾸는지 설명합니다. 개념적 기반은 통계적 학습에 관한 공개 문헌, 특히 위협 평가 맥락에 적용된 컨포멀 예측(conformal prediction)과 보장 범위(coverage guarantee) 개념에서 비롯됩니다.

장식적 확신의 문제

머신러닝 모델은 기본적으로 확신처럼 보이는 숫자를 내놓습니다. 분류기는 높은 점수를 반환하고, 운용자는 그것을 확실성으로 읽습니다. 문제는 그 점수가 모델이 학습된 분포에 맞게 보정된 것이지, 실제 사용되는 조건에 맞게 보정된 것이 아니라는 점입니다. 적대적 환경에서는 분포가 이동합니다. 적대자는 무엇보다도 그 분포를 적극적으로 이동시키려는 존재이기 때문입니다.

따라서 보정되지 않은 시스템은 마땅히 주저해야 할 바로 그 지점에서 확신하는 경향이 있습니다. 근거가 거의 없는 비전형적 상황에서 원시 점수가 가장 쉽게 오도합니다. 그리고 바로 그 상황이 의사결정이 가장 중요한 상황입니다. 장식적 확신은 인터페이스의 세부 사항이 아니라 실패 모드입니다.

문제에는 또 다른 얼굴이 있습니다. 불확실성이 표현되더라도, 그것은 대개 단일 숫자로 표현됩니다. 이는 운용자로 하여금 추정치가 얼마나 취약한지 알지 못한 채 확률을 의사결정으로 변환하도록 강제합니다. 보장 없는 확률은 경계 사례에서 무슨 일이 일어나는지에 대해 아무것도 말해주지 않으며, 경계 사례야말로 실제 운용에서 시스템의 신뢰성을 정의합니다.

보장 범위를 갖춘 예측

우리가 채택하는 접근법은 질문의 전환에서 시작합니다. 어느 클래스가 가장 가능성이 높은지 묻는 대신, 선언된 보장 범위에서 참인 답을 포함하는 가설 집합이 무엇인지 묻습니다. 이 공식화에는 귀중한 속성이 있습니다. 보장은 개별 적중이 아니라 집합에 관한 것이므로, 많은 예측에 걸쳐 통계적으로 검증할 수 있습니다.

실제로 시스템은 예측 집합을 생성합니다. 집합이 작으면 모델은 유용한 정밀도로 정보를 제공하고 있는 것입니다. 집합이 크면 모델은 사용 가능한 근거와 양립할 수 있는 시나리오가 여럿 남아 있음을 정직하게 선언하는 것입니다. 두 경우 모두 운용자는 선언된 여유 없는 점 추정이 아니라, 보장 범위가 연관된 가설 목록이라는 사용 가능한 무언가를 받습니다.

이 변화는 운용하는 사람들의 행동을 바꿉니다. 좁은 집합을 보는 분석가는 그 정보를 선언된 한계 내에서 실행 가능한 것으로 취급합니다. 넓은 집합을 보는 분석가는 행동하기 전에 더 많은 근거가 필요함을 알고, 그 필요가 시스템의 실패가 아니라 지식 상태의 속성임을 압니다. 플랫폼은 자기가 아는 것과 모르는 것을 동등한 명료함으로 전달하게 됩니다.

통계에서 운용적 의사결정으로

보장 범위는 의사결정에 도달할 때에만 가치가 있습니다. 따라서 모델 출력은 세 가지 수준에서 운용 프로세스에 통합됩니다. 첫째, 플랫폼은 보장을 각주가 아니라 출력의 일부로 보고합니다. 둘째, 자율성 범위는 집합의 폭을 기준으로 취급합니다. 넓은 보장 범위를 가진 가설은 인간 검토 없이 영향이 큰 행동을 승인하지 않습니다. 셋째, 성능은 시간에 걸쳐 모니터링됩니다. 통계적 보장은 일련의 의사결정에 관한 주장이며, 그러한 종류의 주장은 지속적인 후속 조치를 필요로 하기 때문입니다.

이 설계는 불확실성을 단지 인식론적으로 올바른 것이 아니라 운용적으로 유용하게 만듭니다. 보장 범위를 선언하는 시스템은 조직이 명시적 정책을 정의할 수 있게 합니다. 근거가 강할 때 무엇을 할지, 모호할 때 무엇을 할지, 각 경우에 누가 결정할지 말입니다. 그러한 선언이 없으면 정책은 각 분석가의 머릿속에 비공식적으로 존재하며 감사할 수 없습니다.

이는 또한 과대광고에 대한 규율의 한 형태입니다. 보장 없는 정확도를 약속하는 것은 쉽고, 보장 범위를 선언하고 검증에 부치는 것은 어렵습니다. 우리는 어려운 길을 선호합니다. 그것이 우리 고객이 마주하는 결과의 성격과 양립할 수 있는 유일한 길이기 때문입니다.

이것이 국방에 의미하는 바

국방에서 의사결정은 좌우로 나뉘는 경우가 드물고, 완전한 정보로 내려지는 경우는 거의 없습니다. 운용자는 시간 압박 속에서 비대칭적 결과를 안고 경쟁하는 가설들 사이에서 선택합니다. 그 맥락에서 보정된 불확실성을 전달하는 도구는 확실성을 전달하는 도구보다 더 가치 있습니다. 거짓 확실성은 주저하는 것이 옳을 바로 그때 주저함을 제거하기 때문입니다.

제도적 소통에서도 이득이 있습니다. 플랫폼이 예측의 보장 범위를 문서화하면, 주어진 근거 아래에서 왜 그러한 결정이 내려졌는지 제3자에게 설명할 수 있게 됩니다. 이는 감사, 감독, 그리고 결론을 산출한 모든 데이터를 공유하지 않고도 결론을 공유해야 하는 기관 간 협력에 기여합니다.

결국 성숙한 시스템이 답해야 하는 질문은 무엇이 일어날지뿐만 아니라, 우리가 그것을 어떤 보장으로 주장하는가입니다. Zendrix는 두 번째 질문을 답의 일부로 취급합니다. 자기가 아는 것을 알고, 그 지식의 한계를 선언할 수 있는 시스템이야말로 지휘관이 압박 속에서 신뢰할 수 있는 시스템입니다.