LEASH подключает сильную модель только на сложных шагах агента

Компьютерного агента научили передавать сложную задачу более сильной модели только при риске ошибки и следить за ней после передачи. В препринте Simular и University of Wisconsin–Madison, который не рецензировали и где числа получили сами авторы, связка Qwen3.5-35B-A3B и LEASH выполнила 73,7% задач против 72,9% у постоянно работающего Claude Opus 5. Средняя стоимость задачи составила 0,4117 доллара — на 19,2% ниже.

LEASH собирает скрытые состояния слабой модели из прошлых успешных и неудачных выполнений. Для новой задачи система определяет, на какую группу больше похоже текущее состояние: сигнал проверяют перед началом работы и после каждого действия. Модель не дообучают и отдельный монитор не создают — расчёт использует уже полученные при генерации активации без дополнительного прогона.

После передачи управления слабая модель становится теневым наблюдателем. Она оценивает ход работы сильной модели через каждые три шага, хотя не имеет доступа к её внутренним состояниям. При высоком риске система отменяет ожидающее действие и один раз просит сильную модель пересмотреть решение с большим объёмом рассуждений; на задачах, где наблюдатель сработал, успех составил 64,5% против 48,4% без него.

При одинаковой доле передач управления LEASH обошёл случайный выбор задач на 6,55–11,94 процентного пункта. Значит, экономию даёт не только более редкий вызов Claude: система точнее выбирает задачи и момент, когда слабому агенту стоит остановиться.

Метод проверяли в OSWorld с четырьмя открытыми моделями в роли слабого агента и Claude Opus 5 в роли сильного. Во всех конфигурациях также работал управляющий агент на сильной модели: он разбивал задачу на этапы и проверял прогресс. Результаты относятся к управлению компьютером, а сравнение теневого наблюдения не изолирует причинный эффект каждого вмешательства.

Источники

• LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents