Журнал · Rit.work

Логи обучения заменили повторный запуск сред при объединении RL-экспертов

MRPD объединяет специализированных RL-экспертов через последовательное воспроизведение их логов и достигает уровня MOPD примерно при трети вычислительных затрат на шаг.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Объединять нескольких RL-экспертов в одну модель научились без повторного запуска сред: единая модель-ученик проходит сохранённые траектории в том порядке, в котором на них учились эксперты. В препринте University of Illinois Urbana-Champaign, ANL и Amazon, который не прошёл рецензирование и содержит замеры самих авторов, метод MRPD сохранил уровень MOPD при примерно трети её вычислительных затрат на шаг. Если команда уже оплачивает отдельное обучение экспертов, журналы этого обучения становятся частью продукта, а не временным артефактом.

Как журнал эксперта превращается в учебный план

Обычная схема сначала обучает отдельного эксперта для каждой области, а затем переносит их поведение в общую модель. В MOPD ученик заново генерирует траектории во всех средах, вызывает инструменты и песочницы, а соответствующий эксперт оценивает каждый созданный токен. На длинных задачах этап снова оплачивает почти всю инфраструктуру, которая уже работала при обучении экспертов.

MRPD использует то, что осталось после этих запусков. Для каждого пакета журнал хранит запросы, ответы модели, результаты инструментов, награды и вероятности, с которыми эксперт выбирал токены. Важна и позиция пакета в истории обучения.

На каждом шаге ученик получает пакеты, созданные экспертами на соответствующем этапе. Сначала идут траектории ранних версий, близких к исходной модели, затем — данные всё более обученных версий. Поэтому сложность растёт вместе с возможностями ученика.

Обновление сочетает два сигнала. Первый заново вычисляет градиент стратегии по сохранённым наградам и ограничивает слишком большие отклонения от версии эксперта, которая создала траекторию. Второй приближает распределение следующего токена ученика к распределению финального эксперта на каждом сохранённом префиксе.

Второй сигнал плотнее итоговой награды за весь ответ: эксперт подсказывает направление на каждой позиции. При этом MRPD не запускает среды и не обращается к модели награды, но финальные эксперты всё ещё нужны для вычисления распределений на сохранённых последовательностях.

Хронология удерживает ученика рядом с политикой, которая собрала текущий пакет. Формально данные создала другая версия модели, но во время воспроизведения они остаются близки к текущему состоянию ученика. Это позволяет применять журнал как последовательную программу обучения, а не как перемешанный датасет.

Порядок пакетов оказался важнее их объёма

На сводной оценке MRPD набрал 58,6 балла против 58,5 у MOPD. Разрыв по качеству практически отсутствует: основной результат работы состоит не в более сильной модели, а в отказе от нового цикла генерации, выполнения инструментов и проверки ответов.

Перемешивание тех же траекторий снизило результат на 0,6 балла. Сокращение объёма пакета почти втрое стоило только 0,2 балла, а удаление сигнала сохранённых наград — 0,4. Значит, последовательность состояний эксперта передаёт больше полезной информации, чем дополнительные примеры из случайных этапов его обучения.

Без правильного порядка ученик одновременно видит ответы ранних и поздних версий эксперта. Они задают разные распределения токенов и требуют обновлений в разных направлениях. Плотная дистилляция к финальному эксперту частично компенсирует конфликт, но не устраняет его.

Разбор вариантов также показывает, что одного компонента недостаточно. Воспроизведение траекторий даёт основную часть улучшения, градиент по наградам учитывает успех всего решения, а распределение финального эксперта корректирует отдельные токены. MRPD выигрывает за счёт их сочетания, а не за счёт нового вида данных.

Когда MRPD меняет план разработки

Метод проверяли на одной базовой модели Qwen3-4B и трёх областях: математических рассуждениях с Python, поиске по Wikipedia и SQL с выполнением запросов. Все эксперты начинали с общего контрольного состояния. Такой масштаб подтверждает идею для нескольких длинных агентных задач, но не показывает, как она переносится на более крупные модели или экспертов с разной исходной базой.

Для команды, которая только проектирует обучение, практическое изменение начинается со схемы хранения. Нужно сохранять исходное состояние модели, порядок пакетов, токены и результаты инструментов, маску ответов модели, награды и вероятности токенов при генерации. Без вероятностей исходной политики нельзя корректно ограничивать обновления, а без хронологии журнал превращается в обычную смесь примеров.

Финальные контрольные состояния экспертов тоже следует оставлять доступными. MRPD убирает повторную генерацию и вызовы сред, но не избавляется от учителей: они вычисляют целевое распределение токенов на уже сохранённых префиксах. Если хранить такие распределения заранее, возрастёт объём журнала; в работе их получают при консолидации.

Команде с действующим MOPD-конвейером имеет смысл сначала изменить логирование экспертных запусков, а затем сравнить воспроизведение с текущей консолидацией на собственных длинных задачах. Для проекта без отдельных RL-экспертов экономии не возникает: MRPD повторно использует уже оплаченное обучение, а не заменяет его.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу