CB-Agent сворачивает траектории в правило выбора действий

Опыт из длинных траекторий агента можно перенести в компактное правило выбора следующего действия. В препринте Qingyue Zhang и коллег, который не проходил рецензирование и содержит замеры самих авторов, CB-Agent показал лучший средний результат среди проверенных методов на всех трёх размерах Qwen3. Схема позволяет добавить обучение на примерах без настройки параметров основной модели.

CB-Agent разбирает экспертные траектории на отдельные решения: контекст перед действием, доступные варианты и выбор эксперта. Затем он обучает числовой вектор, который меняет исходные оценки замороженной LLM для каждого варианта. Один и тот же вектор действует на протяжении задачи, но оценки меняются вместе с историей взаимодействия и набором доступных команд.

При работе ReAct по-прежнему использует демонстрации, чтобы рассуждать и решать, когда думать, а когда действовать. Однако модуль выбора конкретного действия получает только текущую задачу и историю, без экспертных траекторий. Поэтому CB-Agent не убирает длинные примеры из всего запроса, а освобождает от них ту часть контекста, где агент сравнивает команды.

На Qwen3-8B средний результат по тестам составил 72,5 балла против 67,4 у ReAct — разница 5,1 пункта. Отдельная проверка на ALFWorld показала, что обученный вектор повысил долю успешно выполненных задач на 6–14,9 пункта по сравнению с тем же оценщиком, который опирался только на исходные вероятности модели.

Метод проверяли на TextWorld, ALFWorld и ScienceWorld с Qwen3-4B, Qwen3-8B и Qwen3-14B. В средах с фиксированными действиями варианты задавала сама среда, а в открытом пространстве их сначала генерировала модель. CB-Agent лидировал на TextWorld и ScienceWorld при каждом размере, но на ALFWorld уступил лучшим отдельным методам: улучшенный выбор шагов не всегда спасает задачу, если ранняя ошибка уже нарушила всю последовательность.

Источники

• CB-Agent: Concept-Based In-Context Learning for Sequential Action Selection