Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Четырёхбитное обучение с подкреплением для MoE-моделей научились стабилизировать, если одинаково исправлять ошибки квантования при обучении и генерации ответов. Команда Huawei предложила MoEResQ: метод приблизил качество к BF16 там, где перенос техники для плотных моделей не помог, поэтому использовать разные схемы вычислений в двух контурах рискованно. Поскольку препринт не рецензирован, все числа в нём получили сами авторы.
Маршрутизатор превращает малую ошибку в выбор другого эксперта
FP4 хранит числа с плавающей точкой в четырёх битах и за счёт этого сокращает объём вычислений и памяти. Но такая сетка плохо передаёт активации с широким диапазоном: крупные значения занимают доступные уровни, а многие небольшие округляются до нуля.
Коррекция остатка частично возвращает потерянную информацию. Слой отдельно вычисляет разницу между исходной и квантованной активацией, тоже переводит её в FP4 и добавляет результат второго матричного умножения к основному.
В плотных моделях RolloutResQ применяет эту коррекцию только при генерации ответов. Обучающий проход остаётся без неё. Для MoE этого недостаточно, потому что модель сначала направляет каждый токен нескольким выбранным экспертам, а затем исполняет только их.
Выбор дискретный: небольшое изменение входных активаций может не просто немного сдвинуть выход слоя, а переключить эксперта. Тогда ответ генерирует одна фактическая версия модели, а при обучении его оценивает другая. Ошибка накапливается не только в значениях, но и в маршруте вычислений.
RolloutResQ оказался хуже обычного FP4 на трёх из четырёх проверок. Корреляция вероятностей токенов между генерацией и обучением при FP4 составила 0,941, а симметричная коррекция подняла её до 0,994 — почти до уровня BF16. Совпадение выбранных экспертов восстановилось по тому же принципу: коррекция только одного контура почти не помогала.
MoEResQ повторяет одну схему в обоих контурах
MoEResQ применяет коррекцию остатка к одинаковым слоям при генерации и обучении. Во время прямого прохода обе версии модели одинаково уточняют квантованные активации. Во время обратного прохода метод также сохраняет и квантует остатки входных активаций и градиентов выхода.
Смысл метода не в том, чтобы сделать каждый отдельный расчёт точнее любой ценой. Он прежде всего не даёт обучающему и генерирующему контурам расходиться. Если квантование слегка меняет вход маршрутизатора, обе стороны получают одинаковое исправление и чаще выбирают один набор экспертов.
Авторы также проверили более осторожную конфигурацию: FP4 используют только в линейных слоях экспертов, а слои внимания и маршрутизатор оставляют в BF16. Эксперты содержат до 94,66% параметров исследованной модели, поэтому такой вариант охватывает основную часть весов и меньше искажает вход маршрутизатора.
На четырёх математических проверках эта конфигурация отстала от BF16 на 0,49–1,46 процентного пункта. Когда FP4 распространяли ещё и на проекции внимания, MoEResQ также заметно сокращал разрыв, но вариант только для экспертов стабильно оказывался ближе к исходной точности.
Планы стоит менять для эксперимента, но не для расчёта инфраструктуры
Работа меняет способ проектировать низкоточное дообучение MoE. Нельзя автоматически переносить схему, проверенную на плотной модели, и исправлять только генерацию. Сначала нужно обеспечить одинаковое квантование и одинаковую коррекцию в обучающем движке и системе, которая собирает ответы.
Практичный первый вариант — квантовать экспертов, а внимание и маршрутизатор временно оставить в BF16. Это уменьшает область, где численная ошибка может изменить маршрут токена. После этого стоит отдельно сравнивать вероятности токенов и совпадение выбранных экспертов между двумя контурами: итоговая точность не показывает, где именно возникло расхождение.
Проверка охватывает одну MoE-модель Qwen3-30B-A3B, обучение GRPO на DAPO-Math-17K и математические задачи. Квантование имитировали программно из-за аппаратных ограничений, а маршрутизаторы оставляли в BF16. Поэтому работа обосновывает схему сохранения качества, но её результаты нельзя напрямую использовать как замер скорости, потребления памяти или стоимости на конкретных GPU.
Для команды, которая уже планирует FP4-дообучение MoE, MoEResQ добавляет архитектурное требование: обучающий и генерирующий стеки должны поддерживать одну и ту же коррекцию. Если проект пока выбирает оборудование или оценивает экономию, сначала понадобится отдельный аппаратный прототип — препринт не даёт для такого расчёта измерений.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
