ИИ, который знает, что он знает: калиброванная неопределённость со статистическими гарантиями

Система ИИ, которая информирует оборонное решение, всегда задаёт оператору один и тот же вопрос, даже когда не облекает его в слова: насколько вы доверяете этому ответу? Когда уверенность — это декоративное число, решение опирается на ощущение. Когда это статистическая гарантия, решение опирается на свойство, которое можно проверить. Разница между этими двумя ситуациями и отделяет полезную аналитику от опасной.

В Zendrix мы рассматриваем калиброванную неопределённость как инженерное требование, а не как академическое уточнение. В этой статье описывается проблема, подход, который мы применяем, и то, почему он меняет способ использования оператором выходных данных модели. Концептуальная основа взята из открытой литературы по статистическому обучению — в частности, идея конформного предсказания и гарантий покрытия — в применении к контексту оценки угроз.

Проблема декоративной уверенности

Модели машинного обучения по умолчанию выдают числа, которые выглядят как уверенность. Классификатор возвращает высокий балл, и оператор читает его как определённость. Проблема в том, что этот балл калиброван для распределения, на котором модель обучалась, а не для условий, в которых она применяется. В состязательных средах распределение смещается — потому что противник, среди прочего, это тот, кто активно работает над его смещением.

Некалиброванная система поэтому склонна быть уверенной именно там, где ей следовало бы колебаться. Именно в нетипичных ситуациях, для которых имеется мало свидетельств, исходные баллы легче всего вводят в заблуждение. И именно в этих ситуациях решение имеет наибольшее значение. Декоративная уверенность — это не деталь интерфейса; это режим отказа.

У проблемы есть и вторая сторона. Даже когда неопределённость представлена, она обычно представлена одним числом. Это вынуждает оператора переводить вероятность в решение, не зная, насколько хрупка оценка. Вероятность без гарантии ничего не говорит о том, что происходит в граничных случаях, а именно граничные случаи определяют надёжность системы в реальной эксплуатации.

Предсказания с гарантиями покрытия

Подход, который мы применяем, начинается со смены вопроса. Вместо того чтобы спрашивать, какой класс наиболее вероятен, мы спрашиваем, какое множество гипотез содержит истинный ответ при заявленном уровне покрытия. У этой формулировки есть ценное свойство: гарантия относится к множеству, а не к отдельному попаданию, и поэтому её можно статистически проверить на множестве предсказаний.

На практике система формирует множества предсказаний. Если множество узкое, модель информирует с полезной точностью. Если множество широкое, модель честно заявляет, что несколько сценариев остаются совместимыми с имеющимися свидетельствами. В обоих случаях оператор получает нечто пригодное к использованию: список гипотез с сопутствующей гарантией покрытия, а не точечную ставку без заявленного запаса.

Это изменение меняет поведение тех, кто работает с системой. Аналитик, видящий узкое множество, воспринимает информацию как действенную в пределах заявленных границ. Аналитик, видящий широкое множество, знает, что перед действием необходимы дополнительные свидетельства, и знает, что эта необходимость — свойство состояния знания, а не отказ системы. Платформа начинает сообщать о том, что она знает, и о том, чего она не знает, с одинаковой ясностью.

От статистики к операционному решению

Гарантия покрытия чего-то стоит лишь тогда, когда она доходит до решения. Поэтому выходные данные модели интегрируются в операционный процесс на трёх уровнях. Во-первых, платформа сообщает гарантию как часть выходных данных, а не как сноску. Во-вторых, контур автономии рассматривает ширину множества как критерий: гипотезы с широким покрытием не санкционируют высокозначимое действие без проверки человеком. В-третьих, производительность отслеживается во времени, поскольку статистическая гарантия — это утверждение о последовательности решений, а утверждения такого рода требуют непрерывного сопровождения.

Такая архитектура делает неопределённость операционно полезной, а не просто эпистемически корректной. Система, которая заявляет покрытие, позволяет организации определить явные правила: что делать, когда свидетельства сильны, что делать, когда они неоднозначны, кто решает в каждом случае. Без такого заявления правила существуют неформально, в голове каждого аналитика, и не поддаются аудиту.

Это также форма дисциплины против хайпа. Обещать точность без гарантии легко; заявлять покрытие и представлять его на проверку — трудно. Мы предпочитаем трудный путь, потому что только он совместим с тем типом последствий, с которыми сталкиваются наши клиенты.

Что это означает для обороны

В обороне решение редко бывает бинарным и почти никогда не принимается при полной информации. Оператор выбирает между конкурирующими гипотезами, под давлением времени, с асимметричными последствиями. В этом контексте инструмент, который сообщает калиброванную неопределённость, ценнее инструмента, который сообщает определённость, — потому что ложная определённость устраняет колебание именно тогда, когда колебание было бы правильным.

Есть также выигрыш в институциональной коммуникации. Когда платформа документирует покрытие своих предсказаний, становится возможным объяснить третьим сторонам, почему решение было принято при данном корпусе свидетельств. Это служит аудиту, надзору и взаимодействию между институтами, которым необходимо делиться выводами, не делясь всеми данными, которые их породили.

В конечном счёте вопрос, на который должна ответить зрелая система, — не только что произойдёт, но с какой гарантией мы это утверждаем. Zendrix рассматривает второй вопрос как часть ответа. Система, которая знает, что она знает, — и которая может заявить границы этого знания, — это система, которой командир может доверять под давлением.