Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM, которая разрешает действия программного агента, часто судит по опасности самой команды и упускает контекст запроса; дополнительные сигналы среды помогают исправить решение. Работа Huawei Technologies и Sun Yat-sen University проверила это на 1 400 случаях, но препринт не рецензирован, а числа получили сами авторы. Для архитектуры шлюза вывод практический: после предложения действия стоит отдельно собрать безопасные данные о среде и сверить их с явно заданными правилами.
Авторы собрали AuthGateBench из контрастных пар. В каждой паре действие и история предыдущих вызовов инструментов полностью совпадают, а меняется только запрос: расплывчатая просьба требует заблокировать действие, явное перечисление затронутых объектов — разрешить. Так тест отделяет анализ полномочий от простой реакции на опасную команду вроде удаления файлов или передачи данных наружу.
Модели часто блокировали действие даже после прямого разрешения пользователя, особенно при работе с учётными данными и внешней передачей информации. Явные правила сокращали такие ошибочные запреты, но не устраняли их. Точность также росла, когда шлюз получал доступные только для чтения сведения о файлах, процессах и ответах API: например, данные об активном обучении заставляли модель заблокировать удаление каталога, который она сначала сочла устаревшим.
Проверка охватила пять типов сбоев из описаний инцидентов Claude Code и четыре модели: DeepSeek-V4-Flash, GLM-5.2, Kimi-K2.7-Code и Qwen3.7-Plus. Набор полностью синтетический, сигналы среды тоже сгенерированы, а все решения размечены по одной политике. Результат поэтому задаёт схему проверки шлюза, но не измеряет его надёжность в рабочей инфраструктуре: явные правила, анализ запроса вместе с действием и отдельный сбор подтверждающих сведений.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
