Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Проверяющий ИИ-агент не сможет заранее вынести доказуемо верный вердикт по каждой программе, если решает по коду, можно ли её запускать. В препринте, который не прошёл рецензирование и содержит числа из замеров самого автора, Tomas Perez-Acle показал: нарушение запрета можно подтвердить, но безопасность — нет; для конфиденциальности и обязательного ответа нельзя полностью подтвердить ни соблюдение, ни нарушение. Поэтому статическая проверка кода не заменяет ограничения во время исполнения, песочницу и лимиты.
Работа рассматривает программы в универсальной вычислительной среде без ограничений по времени и памяти. Проверяющий агент читает код, запускает его и принимает только конечные свидетельства, которые машина может проверить. Такое свидетельство фиксирует случившееся событие, но не доказывает, что событие никогда не произойдёт или что программа когда-нибудь ответит.
Для запрета результат односторонний: если программа выполнила запрещённое действие, нарушение видно; если пока не выполнила, следующий шаг всё ещё может оказаться запрещённым. С конфиденциальностью сложнее: одинаковые результаты для двух значений секрета пока не гарантируют, что один запуск позднее не выдаст лишнее. Требование ответить на каждый вход тоже нельзя подтвердить конечным наблюдением.
Размер свода правил не устраняет барьер. Любой корректный свод размером n бит не сможет одобрить допустимую программу примерно того же размера. Рабочие варианты — формулировать требования через наблюдаемое действие, например публикацию подтверждения перед вызовом инструмента, разрешать консервативное подмножество программ или контролировать исполнение. Временной лимит делает проверку разрешимой, но в худшем случае требует наблюдать программу почти до конца лимита.
Теоремы проверяют три нормы по отдельности: заданное запрещённое действие, конфиденциальность одного секретного бита и возврат числового ответа без оценки качества. Эксперименты на 2,2 млн случайных программ показали, что препятствие редко возникает в выбранном случайном распределении, а специально построенные самоссылочные программы воспроизводят его намеренно. Это результат для худшего случая, а не оценка риска в работающей системе.
Источники
Иллюстрация: рисунок из статьи «No finite rulebook can certify every safe program: an impossibility theorem for gatekeeping AI agents», Tomas Perez-Acle, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
