Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Постобучение LLM с подкреплением удалось ускорить без заметного ухудшения итоговой награды. Команда из The University of Hong Kong, University of Science and Technology of China, Alibaba Group и Southeast University представила ReFlow: хотя препринт не прошёл рецензирование и все числа получили сами авторы, система обошла синхронные и асинхронные аналоги при сопоставимом ходе обучения. Для команд с собственной инфраструктурой это предлагает альтернативу простому наращиванию GPU под генерацию ответов.
Свежие траектории перестают быть обязательными для каждого шага
При обучении с подкреплением модель генерирует ответы или последовательности действий, получает награду и обновляет параметры. Генерация идёт последовательно, а её длительность меняется вместе с длиной ответа, числом обращений к инструментам и задержками внешней среды.
Синхронная система ждёт, пока закончит вся партия. Асинхронная запускает генерацию и обучение параллельно, но сталкивается с выбором: брать почти свежие данные и сохранять простои либо сильнее отставать от текущей модели и рисковать устойчивостью обучения.
ReFlow меняет сам поток данных. Система помещает недавние траектории в буфер и собирает обучающие партии из свежих, слегка устаревших и повторно выбранных примеров. Обучение поэтому не обязано ждать новую полную партию, а стоимость уже выполненной генерации распределяется на несколько обновлений модели.
Простое повторение старых примеров для этого не подходит: модель, которая создала траекторию, может заметно отличаться от текущей. ReFlow ограничивает возраст данных, регулирует долю повторных примеров и уменьшает их вклад в функцию потерь. Два связанных цикла отвечают за подачу данных в обучение и отбор внутри буфера.
Архитектура дополняет повторное использование опыта эластичным пулом ресурсов. Рабочий процесс может сменить роль с генерации на обучение без полного перезапуска среды, а планировщик следит за скоростью этапов и перераспределяет GPU. Он также меняет число параллельных запросов к модели, когда длина ответов и нагрузка меняются по ходу обучения.
Ускорение проверили на рассуждениях, коде и работе с инструментами
ReFlow сравнили с VeRL, one-step-off и VeRL-async. Во всех случаях использовали одинаковые программные основы: vLLM для генерации и FSDP2 для обучения. Проверка охватывает модели семейства Qwen3, кластеры до 128 GPU, математические задачи DAPO-Math-17K, программирование на APPS и сценарий ReTool с обращением к песочнице для кода.
На этих конфигурациях ReFlow обрабатывал данные в 1,07–2,06 раза быстрее лучшего из выбранных аналогов. Выигрыш сохранился как в задачах с одним ответом, так и в многошаговых сценариях, где модель вызывает инструменты и взаимодействует со средой.
Разница связана не только с повторным использованием траекторий. В одном из сравнений доля времени простоя обучающих процессов снизилась с 55,8% до 15,5%: буфер давал им данные, пока генераторы завершали длинные ответы. Перераспределение ресурсов и адаптивное управление генерацией дополнительно сокращали ожидание между этапами.
Кривые награды у ReFlow остались сопоставимы с базовыми системами, а целевых уровней система достигала раньше по реальному времени. Здесь награда показывает устойчивость самого обучения на выбранных задачах, а не качество готовой модели на независимом наборе тестов.
Планы меняются там, где генерация уже стала узким местом
Работа относится к командам, которые сами проводят RL-постобучение и управляют кластером. Для продукта, который только вызывает чужую модель через API, ReFlow не меняет архитектуру приложения: система ускоряет обучение, а не рабочие запросы пользователей.
Если обучение регулярно простаивает в ожидании траекторий, повторное использование опыта стоит рассматривать до закупки дополнительных GPU. Оно требует хранить траектории вместе с версией модели и наградами, контролировать их свежесть и разрешать рабочим процессам менять роли. Эти решения затрагивают формат данных, планировщик и устройство кластера, поэтому добавить их как локальную оптимизацию в конце проекта не получится.
Максимальный коэффициент ускорения нельзя напрямую считать такой же скидкой на вычисления. Работа измеряет число обработанных токенов за секунду и ход награды, а практическая экономия зависит от конфигурации кластера, длительности обучения и того, насколько часто система сможет занимать освобождённые GPU полезной работой.
ReFlow пока разумнее использовать как ориентир для собственной архитектуры и экспериментов, а не как готовую замену существующему контуру. В тексте работы разработчики обещают выпустить код после необходимых согласований. До этого воспроизведение потребует самостоятельно собрать буфер, правила отбора, переключение ролей и адаптивный планировщик.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
