Журнал · Rit.work

В диффузионной MoE-модели выбор токенов оказался дороже экспертов

После квантования DiffusionGemma основное время генерации ушло на повторную обработку оценок токенов; объединённые вычисления ускорили весь декодер без заметной потери точности.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

После квантования диффузионной языковой модели со смесью экспертов больше всего времени ушло не на экспертов, а на обработку оценок токенов и выбор следующего набора токенов. В препринте IIT Madras, который не прошёл рецензирование и приводит замеры самих авторов, оптимизация этого пути ускорила генерацию в 2,4–2,7 раза без заметной потери точности. Командам, которые разворачивают диффузионные MoE-модели, стоит пересмотреть профиль декодера после квантования: прежний узкий участок может уже не определять задержку.

Почему выбор токенов стал дороже экспертов

Авторегрессионная модель на каждом шаге обрабатывает оценки словаря только для следующей позиции. Диффузионная модель заново обрабатывает всё полотно токенов на каждом шаге очистки от шума: вычисляет распределения, решает, какие позиции зафиксировать, и проверяет условие остановки.

Из-за этого один выпущенный токен требует нескольких полных проходов по словарю. Чем больше шагов очистки делает модель, тем больше данных читают операции, которые в авторегрессионном декодере почти не влияют на общую задержку.

Эффект проявился после квантования экспертов DiffusionGemma. Режим W4A16 хранит их веса в 4 битах, а активации — в 16. Он сокращает чтение весов, поэтому матричные операции экспертов ускоряются, но обработка оценок токенов остаётся прежней.

После такого перехода путь от оценок до выбранных токенов занял в среднем 37% времени декодирования, а вычисления экспертов — 26%. На каждом шаге несколько операций читали один и тот же тензор размером 268 МиБ: считали энтропию, применяли softmax, проводили случайную выборку и отдельно искали наиболее вероятный токен.

Особенно дорого обходился повторный расчёт энтропии. Декодер сначала использовал её, чтобы выбрать принимаемые токены, а затем заново вычислял на том же тензоре для проверки остановки. Квантование не создало эту избыточность, а сделало её заметной на фоне ускорившейся основной модели.

Как убрали повторные проходы по словарю

Первый уровень оптимизации сохраняет результат побитово. Энтропию вычисляют один раз и передают обеим частям декодера. Если законченная последовательность заставляет перестроить тензор оценок, декодер возвращается к обычному расчёту. Во всех остальных случаях тексты, идентификаторы токенов и число шагов совпадают с исходной реализацией.

Второй уровень сохраняет распределение ответов и точность на тестах, но не конкретную последовательность случайных выборов. Энтропию считает одно объединённое ядро за проход по словарю. Оно одновременно накапливает величины для softmax и не создаёт промежуточные массивы для каждой операции.

Цепочку softmax и случайной выборки заменили методом Gumbel-max. Он добавляет случайный шум прямо во время чтения оценок и сразу выбирает максимум. Распределение результата остаётся тем же, но поток случайных чисел отличается, поэтому два запуска исходного и нового декодеров могут породить разные, хотя статистически равноправные ответы.

Полный вариант также объединяет операции нормализации. На GSM8K, HumanEval и MATH итоговая точность осталась в пределах погрешности. Для систем, где требуется воспроизводить каждый токен, подходит только первый уровень; второй требует обычной проверки качества на задачах продукта.

Что меняется в планах команд

Работа не означает, что выбор токенов станет главным расходом у любой диффузионной модели. На второй MoE-модели LLaDA2.0-mini этот путь занимал 28,8% времени, а на плотной LLaDA-8B — 3,6%. В плотной архитектуре основная модель остаётся достаточно дорогой, чтобы скрыть накладные расходы декодера.

Состав алгоритма выборки тоже важен. DiffusionGemma не сортирует весь словарь, поэтому её проходы удалось объединить. LLaDA2.0-mini применяет top-p и сортирует кандидатов: Gumbel-max убрал часть работы, но сортировка осталась, и надёжного ускорения декодера не получилось.

Практический порядок действий меняется для команд, которые уже выбрали диффузионную MoE-архитектуру. После квантования нужно заново измерить полный цикл генерации, включая энтропию, условия остановки, перенос промежуточных данных и алгоритм выборки. Оптимизировать только матричные операции экспертов недостаточно: они могут перестать быть самым дорогим участком.

Границы результата заданы конкретным режимом: DiffusionGemma, LLaDA2.0-mini и LLaDA-8B запускали на NVIDIA GB10 для одного пользователя с пакетом из одного запроса. Поэтому абсолютный выигрыш нельзя переносить на серверные GPU и пакетное обслуживание, но сам профиль показывает, что проверять после квантования и какие повторные проходы можно убрать без переобучения модели.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу