Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Новый способ кодирования активаций снижает потерю качества при FP4-вычислениях и сохраняет исполнение штатными инструкциями Vera Rubin. На Nemotron-3-Nano-30B-A3B он снизил перплексию с 6,85 до 5,57, хотя препринт не рецензирован и все числа в нём получили сами авторы. Для продуктов на Vera Rubin это открывает промежуточный вариант между быстрым FP4 и более точными вычислениями BF16.
FP4 хранит число в четырёх битах, поэтому квантизация активаций может грубо округлять небольшие значения, если масштаб блока задают крупные. VR-SparseQuant представляет блок как сумму двух разреженных потоков: каждый сохраняет любые два значения из каждой четвёрки. Потоки могут выбрать одну позицию дважды — тогда второй исправляет ошибку округления первого, а менее важное значение остаётся незаписанным.
Общее число FP4-значений остаётся таким же, как при плотной квантизации. Соотношение масштабов двух потоков подбирают заранее, а во время работы алгоритм вычисляет масштаб блока и жадно выбирает позиции, где дополнительный вклад сильнее уменьшит ошибку. Один разреженный модуль матричного умножения использует общие фрагменты весов для обоих потоков и складывает результаты в одном накопителе.
С учётом подготовки активаций ядра на Vera Rubin ускорили матричное умножение до 3,1 раза, а операции моделей со смесью экспертов — до 2,7 раза относительно BF16. Эти замеры охватывают отдельные операции, но не обмен данными между GPU и остальные расходы сервинга. По сравнению с плотным W4A4 метод также передаёт больше метаданных и выполняет дополнительную подготовку, поэтому выигрыш зависит от размера пакета и того, где система упирается в память или вычисления.
Метод проверили на плотных и разреженных языковых моделях, моделях для текста и изображений, задачах рассуждения, работы с инструментами и визуального понимания. Нативные замеры ядер проводили на Vera Rubin, а сравнения разных схем разреженности частично моделировали. Поэтому VR-SparseQuant стоит рассматривать как специализированный путь для этой архитектуры GPU, а не как универсальную замену существующих FP4-конвейеров.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



