Журнал · Rit.work

ReMaRL учит диффузионную LLM возвращаться к ранним токенам

ReMaRL обучает отдельный модуль пересматривать ранние токены диффузионной LLM и повышает точность без изменения весов базовой модели.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Диффузионную языковую модель научили пересматривать уже выданные токены, не меняя её веса. ReMaRL показал лучший результат среди сопоставленных способов на математике и коде в основных проверенных бюджетах, следует из препринта JetBrains Research, Constructor University и JetBrains, который не прошёл рецензирование и основан на замерах самих авторов. Для продуктовой команды это отделяет улучшение генерации от дообучения базовой LLM.

Почему ранний токен приходится предсказывать заново

Диффузионная LLM начинает с последовательности масок и за один вызов предсказывает токены — фрагменты будущего ответа — сразу для нескольких позиций. Затем правило декодирования решает, какие позиции открыть. Процесс повторяется, пока маски не исчезнут.

Порядок влияет на результат. Если модель одновременно открывает несколько связанных позиций, каждый токен строится по прежнему контексту и не видит соседние токены, предсказанные в том же вызове. Отдельно правдоподобные фрагменты могут оказаться несовместимыми вместе.

Обычное декодирование исправить это не позволяет: открытый токен остаётся на месте. Ремаскирование возвращает выбранную позицию в состояние маски, чтобы модель предсказала её ещё раз с учётом нового контекста.

Базовый для работы алгоритм P2 сравнивает уверенность модели по всем позициям. Он сохраняет наиболее надёжные токены, открывает часть масок, а исключённые из набора позиции снова маскирует. Авторы изменили правило оценки: для уже открытой позиции учитывается уверенность именно в текущем токене, а не в новой альтернативе, которую предложила модель.

Как ReMaRL выбирает, что открыть, сохранить или скрыть

ReMaRL добавляет к оценкам P2′ обучаемую поправку. Управляющий модуль видит уверенность модели, состояние позиции, её номер и скрытое представление из последнего слоя LLM. На выходе он назначает каждой позиции новую оценку.

Расписание заранее задаёт, сколько позиций должно остаться открытыми после очередного шага. Позиции с высокими оценками входят в этот набор: маски получают предложенные токены, а открытые токены сохраняются. Всё, что не вошло в набор, снова превращается в маску.

Модуль обучают по правильности конечного ответа с помощью GRPO. Для одного задания система создаёт несколько вариантов, сравнивает их награды внутри группы и усиливает решения, которые привели к верному результату. Если все варианты получили одинаковую награду, группа не даёт обучающего сигнала и заменяется другой.

Веса самой LLM остаются неизменными. Обучается около 300 тысяч параметров, причём начальная поправка равна нулю: до обучения ReMaRL ведёт себя как стохастический P2′. Это снижает риск того, что новый модуль сразу разрушит рабочее правило декодирования.

Когда результаты меняют план разработки

С LLaDA-8B-Instruct ReMaRL занял первое место среди сопоставленных методов при бюджете 4–32 вызова модели на математике и 8–16 вызовов на коде. Здесь бюджет означает число полных обращений к LLM для одного ответа, а не время работы. При 16 вызовах P2′ с настроенной случайностью занял второе место на всех четырёх проверках, хотя его не обучали.

Из этого следует практичный порядок экспериментов. Команде с диффузионной LLM сначала стоит проверить P2′: настройка правила выбора позиций может дать часть выигрыша без обучения отдельного модуля. Если у задачи есть надёжная автоматическая проверка ответа, следующим шагом становится ReMaRL.

Основные модули ReMaRL обучали на 32 768 информативных группах заданий. Группы с одинаковыми наградами приходилось заменять новыми, поэтому малое число обучаемых параметров не означает столь же малые расходы на генерацию учебных ответов. Для открытых текстовых задач также потребуется собственная награда, способная оценить итоговый ответ.

Проверка охватила LLaDA-8B-Instruct и Dream-v0-Instruct-7B, задачи GSM8K, MATH500, HumanEval и MBPP, а ответы ограничивались 256 токенами. Метод рассчитан именно на маскированные диффузионные модели: авторегрессионная LLM не поддерживает тот же переход между открытыми и снова скрытыми позициями.

Отдельную политику обычно выгоднее обучать под запланированное число вызовов, хотя политики переносились и на другие бюджеты. При этом число вызовов не учитывает кэширование, длину последовательности и накладные расходы управляющего модуля, поэтому работа показывает рост точности, но не доказывает сокращение задержки в реальной системе.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу