Журнал · Rit.work

VR-SparseQuant уменьшает потери FP4-квантизации на Vera Rubin

VR-SparseQuant распределяет FP4-активации между двумя разреженными потоками, чтобы повысить точность и сохранить исполнение штатными инструкциями Vera Rubin.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Новый способ кодирования активаций снижает потерю качества при FP4-вычислениях и сохраняет исполнение штатными инструкциями Vera Rubin. На Nemotron-3-Nano-30B-A3B он снизил перплексию с 6,85 до 5,57, хотя препринт не рецензирован и все числа в нём получили сами авторы. Для продуктов на Vera Rubin это открывает промежуточный вариант между быстрым FP4 и более точными вычислениями BF16.

FP4 хранит число в четырёх битах, поэтому квантизация активаций может грубо округлять небольшие значения, если масштаб блока задают крупные. VR-SparseQuant представляет блок как сумму двух разреженных потоков: каждый сохраняет любые два значения из каждой четвёрки. Потоки могут выбрать одну позицию дважды — тогда второй исправляет ошибку округления первого, а менее важное значение остаётся незаписанным.

Общее число FP4-значений остаётся таким же, как при плотной квантизации. Соотношение масштабов двух потоков подбирают заранее, а во время работы алгоритм вычисляет масштаб блока и жадно выбирает позиции, где дополнительный вклад сильнее уменьшит ошибку. Один разреженный модуль матричного умножения использует общие фрагменты весов для обоих потоков и складывает результаты в одном накопителе.

С учётом подготовки активаций ядра на Vera Rubin ускорили матричное умножение до 3,1 раза, а операции моделей со смесью экспертов — до 2,7 раза относительно BF16. Эти замеры охватывают отдельные операции, но не обмен данными между GPU и остальные расходы сервинга. По сравнению с плотным W4A4 метод также передаёт больше метаданных и выполняет дополнительную подготовку, поэтому выигрыш зависит от размера пакета и того, где система упирается в память или вычисления.

Метод проверили на плотных и разреженных языковых моделях, моделях для текста и изображений, задачах рассуждения, работы с инструментами и визуального понимания. Нативные замеры ядер проводили на Vera Rubin, а сравнения разных схем разреженности частично моделировали. Поэтому VR-SparseQuant стоит рассматривать как специализированный путь для этой архитектуры GPU, а не как универсальную замену существующих FP4-конвейеров.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу