Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Предварительный прогноз последствий не делает LLM-агента последовательно безопаснее: более жёсткое использование прогноза иногда предотвращает нарушения, а иногда мешает завершить задачу. В препринте Weixiang Zhao и коллег, который не прошёл рецензирование, а числа в нём получили сами авторы, самый строгий режим увеличивал расход токенов до 6,31 раза. Значит, сам прогноз нельзя считать достаточным защитным механизмом.
Как проверяли путь от прогноза до действия
Предиктивный защитный контур проверяет действие до выполнения. Модель мира получает историю взаимодействия и предполагаемое действие, прогнозирует последствия и отмечает возможные нарушения правил безопасности. Затем агент должен решить, менять ли действие с учётом этого прогноза.
Работа разделяет этот процесс на три режима. В первом агент действует без внешнего прогноза. Во втором видит прогноз как дополнительный контекст, но может его проигнорировать. В третьем отдельный механизм блокирует признанное опасным действие, после чего агент предлагает новый вариант и снова отправляет его на проверку.
Авторы сравнили режимы на четырёх моделях, включая Qwen3.5-27B, GLM-5.3-Flash, Gemini-3.7-Flash и GPT-5.6-Terra. HarnessAudit воспроизводил цифровые рабочие процессы с заданными правилами, а IS-Bench — интерактивные бытовые задачи в физической среде. По умолчанию одна модель и выбирала действие, и прогнозировала последствия; отдельные опыты с другим предсказателем показали, что замена модели мира не убирает основной компромисс.
Надёжность прогнозов проверяли отдельно на записанных траекториях с семью моделями. Для каждого будущего шага оценивали, распознала ли модель риск и назвала ли нарушенное правило. Наконец, прогнозы намеренно очищали, подменяли нерелевантным содержанием, искажали или полностью переворачивали, чтобы проверить, реагирует ли агент на смысл предупреждения.
Где разрывается цепочка «прогноз — решение — безопасность»
Первый разрыв возникает при подключении прогноза к агенту. Для GPT-5.6-Terra строгая проверка в HarnessAudit повысила соблюдение правил на 5,78 пункта, но снизила завершение задач на 4,66 пункта. У других моделей и в другой среде соотношение менялось: более строгий режим не давал последовательного выигрыша.
Цена проверки тоже зависит от среды. В цифровых рабочих процессах строгий режим расходовал в среднем в 6,31 раза больше токенов, чем работа без прогноза, а в бытовых задачах — в 3,15 раза больше. Дополнительные токены уходили на вызовы модели мира, повторную сборку контекста и пересмотр заблокированных действий.
Второй разрыв находится в самом прогнозе. Общая точность могла выглядеть приемлемо, хотя модель пропускала рискованные случаи или не называла все нарушенные правила. Для защитного контура важна полнота: какая доля реальных рисков обнаружена. На более далёких шагах эта способность ухудшалась, поэтому хороший прогноз ближайшего действия ничего не говорил о безопасности всей последовательности.
Третий разрыв возникает между верным предупреждением и следующим решением. Агенты часто меняли действие после прогноза, но это редко превращалось в исправление риска. Более того, безопасность могла сохраняться после подмены прогноза нерелевантным или ошибочным текстом. Вероятная причина результата тогда находится не в понимании последствий, а в самом блокировании действий или в более осторожном поведении после дополнительной проверки.
Полная инверсия прогнозов дала высокий показатель соблюдения правил, но завершение задач упало до 13,7 балла из ста. Такой контур может выглядеть безопасным потому, что почти перестаёт действовать. Локальная проверка действия в изолированной среде тоже не решала проблему: подтверждённый безопасный шаг не предотвращал нарушения позже по траектории.
Что менять в архитектуре агентных систем
Работа меняет планы команд, которые собирались оценивать защиту одной итоговой метрикой. Рост соблюдения правил ещё не означает, что агент понял прогноз: тот же результат может дать чрезмерно консервативный блокировщик, который срывает полезные действия. Поэтому рядом нужно измерять завершение задач, расход токенов и безопасность всей траектории.
Качество модели мира нельзя выбирать по общей точности. Нужны отдельные проверки того, сколько реальных рисков она находит, какие правила распознаёт и как качество меняется на дальних шагах. Особенно важно прогонять случаи, где безопасное сейчас действие создаёт опасное состояние позже.
Следует проверять и связь между предупреждением и решением. Подмена прогноза пустым, нерелевантным или противоположным текстом показывает, зависит ли агент от содержания либо просто реагирует на наличие дополнительного сигнала. Без такого теста команда рискует принять работу блокировщика за способность агента рассуждать о последствиях.
Предиктивный контур поэтому стоит рассматривать как один слой защиты, а не как замену правам доступа, проверкам допустимых действий и контролю состояния процесса. Перед внедрением потребуется измерить весь путь: обнаружил ли предсказатель риск, изменил ли агент решение по правильной причине и осталась ли последующая траектория безопасной.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
