关于自主人工智能的公共讨论,总是在两个同样无益的极端之间摇摆:一边是对全能系统的期许——认为系统可以自行决定一切;一边是恐惧——认为任何自主性在定义上即不可控。这两种立场都未能描述真正的问题。真正的问题是一个工程问题:如何构建以机器速度运行的系统,同时又不在此过程中丧失对关键决策的权限。
ORBIT 正是 Zendrix 对这一问题的回答。它不是演示产品,也不是概念演练:它是带有形式化边界的自主性层,用以组织我们各平台的行为。本文将阐释何谓形式化边界,为何没有边界的自主性等同于不可预测性,以及为何负责任的自主性是运营优势而非掣肘。
自主性不等于权限
这场讨论中最常见的混淆,是将自主性与权限视为同义词。二者实为不同之物。自主性是在无需逐步干预的情况下执行的能力。权限是决定应当做什么的权利。一个系统可以拥有高度自主性而毫无权限:它精确执行有权决定者所决定之事。
这一区分是人工智能在国防领域任何严肃应用的基础。涉及生命的决策始终需要人的权限——并非出于技术局限,而是原则问题。其余部分则可以以机器速度流转,因为正是在感知与行动之间的延迟中,自主性产生增益。
一旦丧失这一区分,两种对称的错误便会浮现。其一是瘫痪:本有能力的系统被通用流程所束缚,事事皆需人工确认,包括琐碎且可逆之事。其二是漂移:系统随时间推移不断扩大其行动范围,因为无人明确声明界限何在。形式化边界的存在,正是为了防止这两种错误。
何谓形式化边界
形式化边界是对自主系统可为之事的确切规定。它回答四个问题:哪些行动被允许,在何种条件下,受何种程度的监督,以及由谁授权。每一个答案都是被声明的、有版本的、可审计的——而非从观察到的行为中推断而来。
在实践中,这转化为自主等级。并非每一项行动都值得同等对待。低影响、高度可逆的行动可以自主执行;具有持久后果的行动需要人工复核;涉及生命的行动则始终需要经正式指定的人类权限。等级并非整个系统的属性,而是系统内每一类行动的属性。
边界还定义了当系统接近其极限时会发生什么。平台不应径自推进、事后辩解,而必须停止、声明当前状况,并将决策交还给拥有相应权限者。这正是知晓自身可为之事与事后才发现自身能为何事之间的区别。
治理与审计轨迹
没有治理的边界只是一份文件;治理才是实践。ORBIT 围绕三项可验证要素组织治理。其一是声明:边界是明确的、可读的,并可由负责运营者审查。其二是证据:每一项相关行动都留下记录,使人们能够重建做了什么、何时所做、基于何种依据、由谁授权。其三是完整性:这些记录受到保护,防止事后篡改,从而使审计成为验证而非叙事。
具备上述属性的审计轨迹可同时服务于多个目的。它服务于操作员,后者需要理解发生了什么。它服务于监督者,后者需要确认界限得到了遵守。它服务于机构客户,后者需要向第三方——监管者、盟友、社会——证明其运营受到治理。它也服务于开发本身,因为无法验证的界限便无法被安全地改进。
治理并非叠加于能力之上的官僚程序。它正是使能力得以在信任最为稀缺的环境中可用的前提。
为何这是优势而非掣肘
直觉上的反对意见是:界限会降低速度。经验表明恰恰相反。没有边界的系统迫使组织从外部保护自身:通用流程、冗余审批、对所有事物一视同仁的复核——包括那些本无需复核之事。代价落在整个运营之上。
有边界的系统则将控制内置于设计之中。安全之事以机器速度流转;敏感之事恰好在应当停止之处停止。其结果是平均速度更高而非更低,并且风险状况可以被声明,而非仅仅被寄予期望。
还有对机构信任的影响。运营关键基础设施或国防能力的组织,购买自主性不像购买一款应用;它们必须在主管机构面前、并最终在社会面前为决策作出正当性说明。一个能够记录自身界限的系统,降低了这种正当性说明的成本——并拓宽了自主性可被授权的场景范围。
此外还有时间维度。当原则发生变化、技术演进或经验表明某项界限校准不当时,边界必须修订。一成不变的边界会老化并成为障碍;可修订却不受控制的边界则会消解。正因如此,声明是有版本的:每一次变更都有作者、理由与日期,并可像系统的任何其他决策一样被审计。以方法更新的界限,才是长期保持可信的界限。
因此,负责任的自主性并非雄心的对立面。它正是使雄心得以在高后果领域施展的前提。定义一个成熟系统的问题,不在于它拥有多少自主性,而在于它是否确切知晓自身可为之事——以及在被问及时能否加以证明。