Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Маршрутизатор между LLM научили извлекать учебный сигнал из ответа каждого шага, не показывая этот ответ маршрутизатору при работе. На MINT метод RIVET решил больше задач, чем сильнейший многошаговый конкурент, и сократил стоимость вызовов на 74,7%; результат пока предварительный, поскольку препринт не рецензирован, а числа получили сами авторы. Для многошаговых агентов это способ обучаться на уже записанных диалогах без дополнительного вызова модели в рабочей системе.
Как ответ превращают в метку для шага
В многошаговой задаче маршрутизатор выбирает модель перед каждым вызовом. Итоговая оценка появляется только в конце: агент либо решил задачу, либо нет. Поэтому промежуточный выбор трудно оценить отдельно, хотя ошибка на раннем шаге меняет весь последующий диалог.
Один итог также скрывает различия между ответами. Дешёвая модель может сохранить жёсткое ограничение пользователя, а более дорогая — потерять его. В другом месте той же траектории сильная модель может понадобиться для рассуждения или работы с инструментом. Постоянный рейтинг «слабая — сильная» этого не учитывает.
RIVET обучает пару оценщиков на общем представлении состояния диалога и модели-кандидата. Первый видит только историю до вызова, оценивает ожидаемую пользу каждой LLM и используется в рабочей системе. Второй дополнительно получает фактический ответ выбранной модели, но работает только во время обучения.
Оба оценщика предсказывают одну величину: будущий результат с учётом успеха задачи и цены вызовов. Ответ помогает учебному оценщику отделить качество конкретного шага от прочего шума. Поскольку основная часть сети у оценщиков общая, этот сигнал улучшает представление, на котором затем работает маршрутизатор до вызова.
Сначала сеть учат на полных записанных траекториях. Затем она переносит итоговую ценность назад по шагам и переиспользует диалоги, которые собрал другой маршрутизатор. Консервативная поправка не даёт завышать пользу моделей, которые редко встречались в журнале. После обучения вспомогательный оценщик удаляют: дополнительного вызова LLM или проверки готового ответа не появляется.
Где RIVET сэкономил и за счёт чего
Основной эксперимент прошёл на MINT Reasoning — наборе многошаговых задач из GSM8K, HotpotQA, MATH, MMLU и TheoremQA. Маршрутизатор выбирал между DeepSeek V4-Pro, DeepSeek V4-Flash, Qwen3.7 Plus, Qwen3.5-9B, Meta Llama-3.3-70B-Instruct и OpenAI GPT-4o-mini. Его сравнивали с фиксированным выбором, маршрутизаторами для одиночных запросов и MTRouter, который тоже принимает решение на каждом шаге.
После адаптации RIVET достиг точности 87,94% и при этом обошёл MTRouter по стоимости и доле решённых задач. Проверка компонентов показала, что полезен именно текст ответа: если убрать доступ к нему у учебного оценщика, точность падает на 7,80 процентного пункта, а стоимость вырастает на 145,4%. Оставить второй оценщик, но передавать ему пустое представление ответа, оказалось недостаточно.
Перенос проверяли на MuSiQue, DROP и разделах MMLU-Pro по математике, физике и химии. На MMLU-Pro маршрутизатор сохранил точность MTRouter при стоимости на 92,4% ниже. На MuSiQue адаптированная версия выбрала более дешёвую стратегию и потеряла часть точных совпадений, тогда как версия без дополнительной адаптации показала лучший результат среди маршрутизаторов.
Масштаб проверки задаёт границы вывода: RIVET обучали на MINT с указанным пулом моделей, а перенос измеряли на нескольких задачах с тем же принципом выбора. Работа показывает устойчивый эффект внутри этой схемы, но не устанавливает универсальный порядок моделей для любого агента или набора провайдеров.
Когда метод меняет архитектурный план
Для команды с многошаговым агентом работа меняет требования к журналам. Стоит сохранять состояние перед вызовом, выбранную модель, её ответ, обратную связь среды, цену и конечный исход. Тогда ответ становится учебным сигналом, хотя в момент реального выбора он ещё недоступен.
Подход особенно уместен, если агент уже вызывает разные LLM и цена складывается из цепочки запросов. Вместо сбора большого числа новых траекторий можно начать с существующих журналов, обучить маршрутизатор вне текущей политики и затем коротко адаптировать его на состояниях, которые создаёт уже новая стратегия.
Рабочий контур при этом остаётся простым: маршрутизатор оценивает кандидатов по текущей истории и выбирает одну модель. RIVET не превращается в каскад, где сначала платят за дешёвый ответ, затем проверяют его и при необходимости вызывают дорогую LLM. Экономия возникает из более точного выбора до вызова.
Для одиночных запросов вывод слабее: там нет длинной цепочки последствий, ради которой RIVET переносит ценность между шагами. Но для агентов с инструментами, обратной связью и сменой требований по ходу диалога работа даёт практический шаблон: использовать больше информации при обучении, чем разрешено видеть маршрутизатору в рабочей системе.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
