Компетентность миссии: системы, которые знают, что могут

Спросите оператора критических систем, чего он больше всего опасается в платформе искусственного интеллекта, и ответ редко будет «что она откажет». Ответ будет «что она заявит, будто может то, чего не может». Призрачная способность хуже отсутствующей: отсутствующая известна и обходится; призрачной верят — до момента, когда мир предъявляет счёт за разницу.

Zendrix трактует эту проблему как архитектурное свойство. Компетентностью миссии мы называем дисциплину, по которой система объявляет — себе и своим операторам — только те способности, которые были валидированы в контексте, где она находится. Эта статья описывает принципы такого моделирования, в продолжение наших публикаций об автономности с формальным контуром и калиброванной неопределённостью.

Способность не бинарна — она контекстна

Самая распространённая ошибка в управлении способностями — трактовать их как постоянные атрибуты оборудования. «В системе есть оптический сенсор» числится в описи как факт; но оптический сенсор под ясным небом и тот же сенсор под плотной облачностью — операционно две разные системы. Способность существует на пересечении оборудования, контекста и валидации — и любая модель, игнорирующая один из трёх факторов, производит ложное самознание.

Моделирование компетентности в Zendrix представляет это пересечение явно. Каждая способность привязана к контекстам, в которых она валидирована, — окружающие условия, режим связи, класс задачи, — и каждой паре (способность, контекст) соответствует формальный уровень автономности из тех же объявленных и проверяемых уровней, которые платформа уже использует для управления действиями. Способность, валидированная в широком контексте, работает с широкой автономностью; та же способность в никогда не валидированном контексте работает на нулевом уровне: система знает, что там она не знает.

Выбор по компетентности, а не по доступности

Важнейшее операционное следствие — смена критерия выбора. Обычные системы распределяют задачи по тому, что доступно: какой ресурс существует, какой свободен, какой отвечает. Системы с компетентностью миссии распределяют по тому, что валидировано: какой ресурс имеет проверенную компетентность для этой задачи в этом контексте.

Разница видна целиком на трудных случаях. Под плотной облачностью ресурс изображения, зависящий от прямой видимости, может быть доступен и при этом некомпетентен; ресурс активного зондирования, нечувствительный к облачности, может быть менее удобен и при этом компетентен. Выбор по доступности продвигает первый и обнаруживает ошибку в эксплуатации. Выбор по компетентности продвигает второй — и фиксирует причину выбора в аудиторском следе так, что решение можно реконструировать и оспорить позже.

Это в равной мере относится и к внутреннему самораспределению: когда система планирует, она планирует с теми компетентностями, которыми обладает в текущем контексте, а не с теми, которыми обладала бы в идеальных условиях. План, требующий способности, не валидированной в текущем контексте, понижается, передаётся другому или отклоняется — но никогда не исполняется в надежде.

Девственный контекст: честность нулевого уровня

Всегда будут контексты, в которых валидации не существует, — новая среда, беспрецедентное условие, никогда не испытанное сочетание. Зрелый ответ — не экстраполировать с декоративной уверенностью, а объявить нулевой уровень и действовать соответственно.

Нулевой уровень — не паралич. Это система, явно и проверяемо говорящая: «в этом контексте данная способность не валидирована; я рекомендую, но не исполняю автономно». Человеческие полномочия получают рекомендацию с объявленной неопределённостью — и решают. Если решение состоит в том, чтобы действовать, результат питает базу валидации, и будущая компетентность завоёвывается доказательством, а не предполагается по аналогии. Так система ответственно расширяет собственный контур: каждый новый контекст, пройденный под человеческим надзором, становится валидированным контекстом в следующий раз.

Эта архитектура меняет отношения оператора и системы. Оператору не нужно угадывать, когда доверять: система объявляет собственный уровень компетентности по контексту с той же объективностью, с какой объявляет уровень заряда батареи. Доверие перестаёт быть чувством и становится интерфейсом — с числами, уровнями и аудиторскими следами за ним.

Измеренная компетентность: мост к культуре доказательности

Компетентность миссии реальна лишь тогда, когда она измерена. Zendrix поддерживает как инфраструктуру этого моделирования записи валидации по паре (способность, контекст): отработанные в высокоточном моделировании сценарии, достигнутые пороги приёмки, дата и версия валидации. Компетентность без записи о валидации трактуется как несуществующая — не из пессимизма, а потому что альтернатива есть ровно тот призрак, которым открывается эта статья.

Эти записи интегрируются в механизмы гарантии, уже описанные нами публично: формальные и проверяемые уровни автономности, устойчивые к подделке аудиторские следы и криптографическая проверка заявленного эффекта действий. Модель компетентности — не слой представления поверх системы; это часть системы управления, к которой обращаются при каждом решении о распределении и которая фиксируется при каждом выборе.

Двойное применение и суверенитет

Проблема контекстной компетентности проходит через оборону и критическую инфраструктуру с одинаковой силой. Оператору электрической сети нужно знать, валидирована ли система обнаружения аномалий для сегодняшнего режима нагрузки; гражданской обороне нужно знать, валидирована ли способность анализа изображений для ночных и дождливых условий; авиационному регулятору нужно знать, что непилотируемая система может и чего не может при деградации канала. Во всех случаях вопрос один — и честный ответ требует явного моделирования, а не оптимизма.

Есть и суверенное измерение. Система, знающая и объявляющая собственные компетентности, есть система, проверяемая аудитом собственной нацией: валидации, пороги и уровни остаются под национальной юрисдикцией и контролем, вместо того чтобы зависеть от слова иностранного поставщика о том, что «может» его чёрный ящик. Внутренняя прозрачность и суверенитет идут вместе.

Состояние разработки

Моделирование компетентности миссии реализовано и работает в средах валидации Zendrix, интегрированное в управление автономностью и в записи моделирования, описанные в наших предыдущих публикациях. Критерии распределения — какое доказательство продвигает компетентность на уровень, какая деградация её понижает — явны, версионированы и проверяемы аудитом, и продолжают ужесточаться с каждым циклом валидации.

Институциональная позиция та же, что всегда, применённая к новому объекту: мы не обещаем всезнающих систем. Мы строим системы, которые знают, что могут, объявляют, чего не могут, и никогда не пересекают эту границу молча. Такая система не впечатляет на демонстрации — она впечатляет в эксплуатации, а именно там инфраструктуры обороны и критической инфраструктуры обязаны впечатлять.