Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Внешний LLM-агент научился замечать, когда исполнитель уходит от общей цели, и вмешиваться до бесполезных повторов или неверного завершения. В работе National University of Singapore, University of Science and Technology of China и Qwen Business Unit средняя прибавка на поисковых тестах составила 6,66 пункта при реже чем одном вмешательстве на задачу; препринт не рецензирован, а измерения провели сами авторы. Такая схема позволяет обучать слой надзора, не меняя модели-исполнители.
Быстрый путь решает, нужен ли медленный
Работа нацелена на дрейф цели: агент продолжает локально разумные действия, которые уже не приближают общий результат. Поисковый агент может снова изучать тему, по которой собрал достаточно сведений, а проверяющий агент — возвращать готовый ответ на повторную доработку.
Надзирающий агент получает исходную цель и доступный контекст выполнения. При каждом обновлении он либо пропускает работу дальше, либо вмешивается. Для одиночного агента обновлением может служить очередной шаг с инструментом, для многоагентной системы — передача результата между ролями.
Решение разделено на быстрый и медленный пути с общей LLM в основе. Быстрый путь за один проход считывает вероятности ответов «да» и «нет» и оценивает, насколько текущее состояние заслуживает вмешательства. Если оценка превышает заданный порог, запускается медленный путь: модель анализирует контекст и формирует корректирующее действие.
В одиночной системе действие направляет исполнителя к следующему полезному шагу. В многоагентном конвейере надзиратель может добавить указание к передаваемому сообщению или отклонить его и запросить повтор. Порог меняют при эксплуатации без нового обучения: высокий порог сокращает число вмешательств, низкий позволяет контролировать больше переходов.
Оба пути учатся на результате всей задачи
Простого запроса к исходной модели оказалось недостаточно: надзирателю нужно отличать реальный уход от цели от необычного, но полезного шага. Поэтому исполнитель остаётся замороженным, а обучение меняет только внешний управляющий агент.
Сначала исполнитель проходит задачу без надзора, а промежуточные состояния попадают в банк. Система выбирает состояния по оценке быстрого пути, иногда заменяя этот выбор случайным, затем создаёт несколько вариантов вмешательства. Для каждого варианта она продолжает выполнение и сравнивает итоговую награду с результатом ветки без вмешательства.
Быстрый путь обучают попарно ранжировать состояния: выше должна стоять точка, где корректировка сильнее меняет итог. Медленный путь обновляют через GRPO — алгоритм сопоставляет действия, созданные для одного состояния, и усиливает те, которые дали более высокую награду. Оба сигнала совместно меняют общую модель.
Такой подход отделяет умение решать задачу от умения следить за её ходом. Команде не требуется заново обучать каждого исполнителя или согласовывать между собой все специализированные роли. Один управляющий слой можно переносить между моделями, если ему доступны цель, промежуточный контекст и способ повлиять на следующий шаг.
Когда архитектура меняет планы продукта
Основные измерения прошли на семи тестах с вопросами, для которых агент искал и объединял сведения. Перенос за пределы обучающего набора проверяли на Frames, GAIA и xBench-DeepSearch с поисковым API. В сравнение вошли работа без вмешательства, надзор без дообучения, планирование, итоговая проверка и имитация только успешных действий.
Обученный надзиратель перенёсся с Qwen2.5-7B-Instruct на Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3 и Phi-4. Прибавка для этих ранее не использованных исполнителей лежала между 5,92 и 15,78 пункта. Это поддерживает архитектуру, где исполнителя можно заменить, не обучая слой контроля заново.
Для многоагентного конвейера качество выросло на 5,34 пункта, когда надзиратель проверял каждую передачу между ролями. Та же частота с моделью без обучения снизила результат на 7,14 пункта: частый контроль сам по себе не помогает и способен раздувать цикл исправлений. Практический компонент работы — не дополнительный запрос к LLM, а обучение момента и содержания вмешательства на итоговой награде.
Схема подходит продуктам, где выполнение занимает много шагов, повторная попытка стоит дорого, а система сохраняет промежуточное состояние. Она дополняет планирование и финальную проверку: план задаёт маршрут, надзиратель исправляет отклонения по ходу, проверка оценивает завершённый результат. Вывод пока прямо подтверждён для поисковых задач и фиксированного ролевого конвейера, поэтому перенос на разработку ПО или другие среды потребует собственных испытаний.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
