Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Монитор научили по ходу работы агента решать, когда запуск стоит остановить, передать более сильной модели или человеку. В нерецензированном препринте числа получены самими авторами: на SWE-bench Lite монитор сократил расход токенов на 34,46%, но обнаружил меньше трети неудачных запусков. Метод предлагает заменить ручные лимиты и фильтры обучаемыми правилами с контролем ложных срабатываний.
Как правило превращается в решение остановить агента
Обычный монитор реагирует на заранее заданные события: агент превысил лимит шагов, повторил действие или получил ошибку инструмента. Такие правила легко проверить, но трудно настроить: отдельная ошибка ещё не означает провал, а неудачный запуск может долго не пересекать выбранный порог.
LeBet начинает с набора бинарных признаков, которые можно вычислить по уже увиденной части траектории. В эксперименте они описывали ошибки инструментов, повторные действия, вызовы редактирования и тестов, а также частоту этих событий на разных отрезках запуска.
Из признаков метод собирает читаемый набор правил. Внутри правила условия соединены «и», а между правилами действует «или»: например, монитор может сработать, если агент повторяет действие после ошибки либо продолжает редактировать код без успешного теста. Конкретные сочетания ищет стохастический локальный поиск, потому что полный перебор слишком велик.
Для обучения каждой завершённой траектории нужна метка: требовалось ли вмешательство, если оценивать весь запуск целиком. При работе монитор видит только текущую часть истории. Он должен редко подавать сигнал на успешных траекториях и устойчиво подавать его на тех, которые закончатся неудачей.
Одиночный сигнал не останавливает агента сразу. LeBet накапливает свидетельства относительно контрольного уровня и вмешивается, когда они достигают заданного порога. Поэтому случайная ошибка инструмента может не повлиять на запуск, а последовательность характерных событий постепенно доведёт монитор до остановки.
Метод использует одни и те же траектории для обучения и калибровки. Гарантии опираются на обменяемость внутри классов — будущие и исторические запуски не должны систематически различаться среди успешных и неудачных случаев — и на устойчивость правил при исключении одного примера. При этих условиях можно ограничить вероятность ложного вмешательства и пропуска неудачи для фиксированного обучающего набора. Формальные доказательства дополнительно проверены в Lean 4.
Экономия токенов пришла с низкой полнотой обнаружения
Метод проверили на всех задачах SWE-bench Lite с агентом для кода на Ministral 3 8B. Траектории случайно разделили на обучающую и оценочную части, а результат сравнили с теми же запусками без ранней остановки.
На оценочной части монитор сэкономил 34,46% входных и выходных токенов. Среди продолженных запусков доля успешных выросла с 18,33% до 21,59%: ранняя остановка отсеяла часть заведомо неудачных траекторий.
Компромисс заметен в полноте обнаружения. Монитор остановил 29,59% неудачных запусков, а ложное срабатывание произошло в 13,64% успешных. Это не универсальный детектор провала: он снимает часть расходов, сохраняя большую часть запусков без вмешательства.
Проверка охватывает один сценарий — исправление кода одним агентом и одной моделью. Сравнение показывает эффект относительно отсутствия ранней остановки, а не превосходство над другими обучаемыми мониторами.
Когда LeBet меняет архитектуру мониторинга
Работа меняет планы команд, у которых агент выполняет длинные и дорогие последовательности действий, а завершённые запуски можно разметить по необходимости вмешательства. В такой системе монитор можно вынести в отдельный контрольный слой: агент и инструменты остаются прежними, а решение об остановке обучается на их историях.
Ручные правила при этом не исчезают. Они становятся исходными признаками, из которых LeBet выбирает сочетания и калибрует момент вмешательства. Это практичнее непрозрачного классификатора там, где инженерам нужно объяснить остановку, проверить сработавшие условия и изменить отдельное правило после разбора инцидента.
Гарантии не заменяют проверку на рабочем потоке. Если меняются задачи, инструменты, системный промпт или политика агента, предположение о сопоставимости исторических и будущих траекторий может перестать выполняться. Тогда монитор нужно переобучать и заново проверять на данных из нового режима.
LeBet стоит рассматривать не как готовый предохранитель, а как схему построения такого предохранителя. Она связывает три части, которые обычно настраивают отдельно: читаемые признаки, обучение правил и статистический порог вмешательства. Для пилота достаточно логировать полные траектории, определить метку необходимости вмешательства и проверить, окупает ли ранняя остановка пропущенные сбои и ложные тревоги.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



