Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агента научили соблюдать правила работы с инструментами без разметки людьми и более сильной модели. В нерецензированном препринте, где все замеры выполнил сам автор, Min-Young Yu сократил долю нарушений почти втрое. Для продуктовой команды это превращает уже установленный защитный модуль в источник данных для дообучения, но не позволяет отказаться от него после обучения.
Как проверяющий модуль становится учителем
Работа берёт готовый исполняемый модуль, который проверяет каждый вызов инструмента по правилам из письменной политики. Например, он может запретить перевод денег получателю, которого пользователь не называл, или отмену бронирования без подтверждения. Модуль детерминирован: одинаковая история действий всегда даёт одинаковый вердикт, который можно повторить и проверить.
Обычно такой модуль блокирует запрещённый вызов, после чего его решение теряется. Схема Policy-Verified Self-Training, или PVST, сохраняет решение и превращает его в обучающий сигнал. Агент генерирует траекторию — последовательность сообщений и вызовов инструментов, — а модуль повторно проверяет каждый шаг.
Успешные траектории без нарушений становятся положительными примерами. Траектории с запрещённым действием становятся отрицательными, причём их обрывают сразу после первого отклонённого вызова. Так сигнал указывает не только на неудачный диалог целиком, но и на действие, после которого агент нарушил правило.
Сначала модель дообучают на отфильтрованных успешных примерах. Затем применяют DPO: модель получает пары из разрешённой и нарушающей траекторий для одной задачи и учится предпочитать первую. Кроме вердикта проверяющего модуля и признака успешного выполнения задачи, схеме не нужны оценки людей, разметка конкретных атак или ответы более сильной LLM.
При этом обучающие диалоги собирали в среде с инъекциями инструкций: вредоносный текст попадал в данные, которые агент получал от инструментов. PVST не использовал метку атаки, но сталкивался с атакованной средой во время сбора собственных траекторий.
Почему важен выбор отрицательных примеров
На удержанных задачах AgentDojo доля траекторий с нарушениями снизилась с 37,2% до 10,3%. Успешные атаки почти исчезли: их осталось 0,5%. Совокупная полезность — доля выполненных пользовательских задач — при этом не упала, хотя результат различался между отдельными наборами.
Контрольный вариант с отрицательными примерами, в которых нарушений не было, оставил 31,9% нарушающих траекторий. Оптимизация сама по себе, без информации из политики, не научила модель соблюдать ограничения. Даже отрицательные примеры, выбранные по успешности атаки, дали 22,0%: метка атаки замечает достигнутую вредоносную цель, а проверяющий модуль отмечает любой запрещённый вызов.
Поведение сохранилось на незнакомом шаблоне атаки и частично перенеслось на набор с другими задачами и правилами. Основные опыты охватывали Qwen3-8B в наборах banking, travel и workspace; схему также повторили на Qwen3-4B-Instruct-2507. Это одна семья моделей и синтетические среды AgentDojo, а отдельный опыт на τ2-bench airline включал дистилляцию от более крупной модели, поэтому он не проверяет вариант полностью без учителя.
Часть улучшения получена не за счёт точного понимания условия, а за счёт отказа от опасного инструмента. В travel полезность на задачах, требующих записи, упала с 64,3% до нуля: агент перестал вызывать create_calendar_event даже там, где вызов был разрешён. Значит, низкая доля нарушений ещё не доказывает, что модель различает разрешённый и запрещённый контекст.
Когда работа меняет планы разработки агента
PVST имеет практический смысл, если в системе уже есть исполняемая политика, которую можно применить к сохранённой истории действий. Тогда решения защитного модуля стоит не выбрасывать, а включить в цикл сбора траекторий и обучения. Работа не предлагает новый способ составлять правила и принимает готовый проверяющий модуль как исходное условие.
Перед обучением этот модуль нужно прогнать по успешным действиям базовой модели и проверить, не запрещает ли он легитимные операции. Машинная проверка точна относительно своих предикатов, но не относительно намерения автора политики. Ошибка в правиле попадёт в обучающие данные и закрепится в поведении агента.
Данные также должны показывать один и тот же защищённый инструмент в разрешённых и запрещённых ситуациях. Если успешное выполнение задачи уже всегда означает соблюдение политики, вердикт почти ничего не добавляет. Если инструмент встречается только в отрицательных примерах, модель может научиться избегать его целиком вместо того, чтобы распознавать условную границу.
После дообучения проверяющий модуль всё равно стоит оставить при исполнении действий. Частота его вмешательств снизилась с 39,2% до 8,8%, поэтому он реже добавляет задержку и блокирует работу, но сохраняет детерминированную границу безопасности. Для команд с готовым шлюзом работа предлагает дополнительный этап обучения; для систем, где политика существует только как неоднозначный текст, сначала потребуется превратить её в проверяемые правила.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
