Журнал · Rit.work

Почему сертификат не докажет безопасность ИИ-агента с инструментами

Математическая модель показывает, почему фильтры и сертификаты не дают полной гарантии безопасности агентам, которые запускают программы и взаимодействуют друг с другом.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Полностью проверить безопасность ИИ-агента, который может запускать произвольные программы, в общем случае нельзя. Mario Franco и Carlos Gershenson из Binghamton University показали: без конечных ограничений задача неразрешима, а с ними остаётся вычислительно трудной, хотя препринт не рецензирован и все числа в нём получены самими авторами. Сертификат или фильтр поэтому подтверждает только заданный набор условий, а не безопасность при любом сценарии.

Работа описывает агента как фиксированную языковую модель, соединённую с вычислительным устройством через управляющую оболочку. Модель выбирает инструмент, получает результат и добавляет его в контекст следующего шага. Опасным считается не только известный код, но и любая программа, которая ведёт себя так же.

Проверка упирается в задачу остановки: нельзя построить алгоритм, который для любой программы заранее определит, завершит ли она работу. Из этого следует, что универсальный предсказатель не сможет для каждого входа установить, запустит ли агент опасный код. Чёрные и белые списки, защитные правила и проверяемые сертификаты могут отсечь известные случаи, но не охватывают все программы с тем же поведением.

Если заранее ограничить длину контекста, допустимые значения и время работы, задача становится разрешимой, но остаётся PSPACE-полной. Это класс задач, которые требуют не больше полиномиального объёма памяти, но включают самые трудные задачи с таким ограничением. Результат сохраняется, даже когда проверяющей системе известно полное описание агента.

Доказательство охватывает абстрактных агентов и заданный класс опасного поведения, а не результаты испытаний конкретных LLM. Оно также рассматривает группы агентов: каждый участник может отдельно пройти проверку, но их последовательные действия вместе выполнят опасную программу. Практичная стратегия — задавать конечные пределы, проверять узкие свойства и отслеживать, затухает ли опасное поведение или распространяется между агентами, вместо обещания абсолютной безопасности.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу