Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Диффузионную языковую модель научили повторно использовать собственные промежуточные прогнозы и становиться увереннее на каждом шаге генерации. В препринте команды из Together AI и пяти университетов, который не прошёл рецензирование, все числа получили сами авторы: ORL вместе с движком dlmrt повысил пропускную способность примерно в 6,9 раза при сопоставимом или лучшем качестве. Для разработчиков таких моделей остаточный контекст становится не отдельной настройкой декодирования, а задачей обучения и инфраструктуры.
Почему модель должна учиться на свежих траекториях
Диффузионная языковая модель заполняет не один следующий токен, а блок замаскированных позиций. За несколько проходов она уточняет прогнозы, открывает достаточно уверенные токены и снова обрабатывает оставшиеся позиции. Скорость зависит от того, сколько токенов модель завершает за один проход.
Остаточный контекст сохраняет распределения вероятностей с предыдущего прохода и подаёт их модели на следующем. Промежуточный прогноз не выбрасывается: адаптер преобразует его в представление, которое дополняет входные данные. Модель может продолжить уже начатое уточнение, а не вычислять прогноз заново.
Обучать этот механизм на заранее сохранённых примерах недостаточно. Остаточный прогноз влияет на то, какие токены модель примет и какое состояние увидит дальше. После обновления весов меняются и прогноз, и вся следующая траектория, поэтому старые записи перестают соответствовать реальному декодированию.
ORL генерирует новые траектории текущей версией модели перед каждым обновлением. Проверяющий модуль оставляет успешные ответы, после чего обучение повторно обрабатывает выбранные промежуточные состояния с тем остаточным входом, который модель действительно получила во время генерации. После обновления эти траектории отбрасываются.
Одной точности промежуточных прогнозов оказалось мало. Модель могла в итоге ответить правильно, но сохранять почти одинаковую неопределённость на нескольких последовательных шагах. ORL добавляет цель, которая требует снижать энтропию — меру неопределённости прогноза — от шага к шагу. Её применяют там, где уверенность перестала расти, а уже уверенные позиции дополнительно не заостряют.
Отдельное масштабирование замедляет обновления остаточного пути относительно основной модели. Без этого небольшой адаптер меняется быстрее основы, его новые прогнозы сразу меняют следующие состояния, и замкнутый цикл обучения теряет устойчивость.
Траектории пришлось превратить в отдельный системный поток
Точное обучение требует сохранить состояние блока и остаточный вход на нескольких шагах. Эти данные возникают внутри декодирования, имеют разную длину и создают неодинаковую нагрузку. Обычная схема, где генерация готовит ответы, а обучение получает ровные пакеты примеров, здесь расходует память на разреженные состояния и оставляет часть GPU без работы.
ORL снимает нужные состояния асинхронно, не задерживая основной цикл генерации. Система сохраняет компактное представление перед адаптером вместо распределения по всему словарю. В зависимости от размещения модели данные остаются в памяти GPU или переносятся через память центрального процессора.
Состояния разной длины упаковываются в плотные обучающие пакеты. Планировщик распределяет их между GPU по ожидаемым вычислениям, а специальный вариант внимания обрабатывает несколько ступеней диффузионной траектории без создания большой плотной маски. Вместе эти приёмы ускорили обучение относительно наивной реализации до 5,2 раза.
На этапе выдачи dlmrt запускает весь цикл уточнения блока внутри одного CUDA-графа. Центральный процессор только начинает обработку блока и забирает готовые токены, поэтому сокращение числа проходов не теряется на запусках ядер и синхронизации. В одинаковых режимах декодирования движок работал в 1,2–1,6 раза быстрее SGLang и vLLM.
ORL меняет план разработки DLM, но не доказывает замену обычных LLM
На QwenDLM, преобразованной из Qwen3-4B, ORL увеличил число готовых токенов за проход до 6,2 раза. При одном запросе на H100 модель оказалась в 1,74 раза быстрее DFlash при совпадающей точности. Сравнение включало также EAGLE3 и режимы строгой и смягчённой проверки черновых токенов.
Метод перенесли на LLaDA-2.1-mini и DiffusionGemma без отдельной схемы обучения для каждой модели. У первой пропускная способность выросла до 3 раз, у второй число токенов за проход увеличилось в 1,1–1,2 раза. Разница показывает, что остаточный контекст переносится между архитектурами, но размер эффекта зависит от исходной модели.
Проверки охватывали модели QwenDLM, LLaDA-2.1-mini и DiffusionGemma, задачи математики и программирования, а также одиночную выдачу на H100, B200 и RTX 5090. Главные сравнения относятся к GSM8K и HumanEval; скорость измеряли с собственным движком, а часть режимов — с квантованием NVFP4.
Для команды, которая уже выбрала диффузионную LLM, работа меняет состав проекта. Нужно планировать не только адаптер остаточного контекста, но и генерацию свежих траекторий, проверку ответов, захват промежуточных состояний, балансировку GPU и специализированную выдачу. Добавить остаточный вход к существующему декодеру без этого контура недостаточно.
Для перехода с авторегрессионной модели оснований меньше. Самый сильный результат получен в режиме одного запроса и объединяет обучение ORL с dlmrt; работа не отделяет универсальный выигрыш метода от особенностей конкретной нагрузки во всех вариантах промышленной выдачи. Практический следующий шаг — сравнивать полный стек на собственной длине ответов и профиле запросов, а не выбирать архитектуру по числу проходов модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
