Журнал · Rit.work

Soteria проверяет план LLM-агента до вызова инструментов

Soteria заранее проверяет план LLM-агента, блокирует опасные вызовы во время работы и подсказывает путь к завершению задачи после блокировки.

Rit.work
Студия разработки
17 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

LLM-агента научили выполнять многошаговую задачу, не нарушая заданные правила и не останавливаясь после заблокированного действия. В препринте Princeton University и Snowflake, который не прошёл рецензирование и приводит замеры самих авторов, Soteria показала в среднем в 1,7 раза более высокую долю выполненных задач, чем лучшие базовые решения. Для команд это схема, в которой защита не только запрещает опасный вызов API, но и помогает агенту продолжить работу безопасным способом.

План проверяют до первого вызова инструмента

Обычный защитный слой оценивает очередное действие агента непосредственно перед выполнением. Он может остановить отмену бронирования или возврат денег, но к этому моменту агент уже мог изменить состояние системы и оказаться без допустимого следующего шага.

Soteria сначала превращает задачу в структурированный план. План выглядит как граф состояний: переходы соответствуют вызовам инструментов, а условия определяют, по какой ветке двигаться после получения данных. Например, отмена бронирования может идти по разным веткам в зависимости от результатов обязательных проверок.

Система проверяет три свойства плана. Каждый вызов должен соответствовать контракту инструмента, выполнение не должно застревать в промежуточном состоянии, а все возможные пути должны соблюдать правила предметной области. Для автоматической проверки используют Dafny; если доказать корректность не удаётся, его диагностика указывает планировщику, какую часть нужно исправить.

Сложные процедуры собирают из заранее проверенных подпланов. Отмена, возврат и новое бронирование становятся отдельными блоками со своими входными условиями и результатами. Верхнеуровневому планировщику остаётся правильно соединить блоки, а не заново воспроизводить все правила в каждой задаче.

Спецификации получают из текстов политик и описаний инструментов при помощи LLM, но затем проверяют вручную, пункт за пунктом. Это существенная часть внедрения: формальная гарантия распространяется только на правила, которые команда действительно выразила в спецификациях.

Заблокированный вызов не обрывает выполнение

Проверенный план не привязывает исполнителя к единственной последовательности действий. Во время работы агент видит сокращаемый список оставшихся шагов: результаты вызовов закрывают уже выбранные ветки и оставляют актуальные переходы.

Отдельный монитор проверяет каждый предложенный вызов по контрактам инструментов и правилам предметной области. Если действие нарушит спецификацию, монитор блокирует его до выполнения. После блокировки агент возвращается к плану и выбирает допустимый путь, поэтому защита работает одновременно как запрет и как средство восстановления.

Это также страхует от двух практических сбоев. Проверка плана может не завершиться за отведённое число попыток, а LLM-исполнитель может отклониться даже от корректного плана. В первом случае Soteria использует наиболее полно проверенный вариант, во втором монитор всё равно не пропускает недопустимый вызов.

Систему проверили на 207 задачах из трёх наборов для агентов, работающих с инструментами, включая τ2-Airline, и на четырёх моделях. Soteria достигла 100% соответствия заданным спецификациям, а средняя доля успешно выполненных задач оказалась в 1,7 раза выше, чем у лучших базовых решений.

Замеры относятся к тестовым средам с подготовленными контрактами, политиками и библиотекой подпланов. Проверка также предполагает, что контракты правильно описывают реальное поведение инструментов и что инструменты выполняют заявленные условия после вызова.

Архитектуру агента придётся проектировать вокруг правил

Работа меняет планы команд, которые собираются дать агенту доступ к операциям с необратимыми последствиями: платежам, возвратам, бронированиям или изменениям в базе данных. Одного фильтра перед API-вызовом здесь недостаточно, потому что локально безопасное действие ещё не гарантирует безопасную и завершимую последовательность.

Практическая архитектура разделяется на четыре слоя: формальные правила, библиотеку стандартных процедур, проверку собранного плана и монитор во время выполнения. Такой расклад позволяет тестировать политики отдельно от подсказок модели и повторно использовать проверенные процедуры для однотипных задач.

Soteria при этом не выглядит готовой заменой существующего агентного контура. Команде нужно описать контракты API, проверить формализацию политик, поддерживать подпланы и учитывать дополнительную стадию планирования. Авторы также связывают дальнейшее снижение расходов с кешированием и повторным использованием планов, но в текущей схеме эта работа остаётся частью эксплуатации.

Главный результат состоит не в ещё одном защитном классификаторе, а в смене точки контроля. Система сначала доказывает свойства всей последовательности, затем контролирует реальные действия и использует тот же план для восстановления. Если продукт уже строится вокруг формализуемых бизнес-правил, эту схему можно закладывать до выбора конкретной LLM: модель остаётся заменяемым исполнителем, а безопасность закрепляется в плане, контрактах и мониторе.

Источники

Иллюстрация: рисунок из статьи «Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM Agents», Mike He, Ankush Desai, Sharad Malik и др., CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу