BitDecoding-FP4 ускоряет работу с 4-битным KV-кэшем без заметной потери качества

Длинный контекст LLM удалось обслуживать быстрее, сократив кэш ключей и значений (KV-кэш) до четырёх бит и не допустив заметного падения качества. В препринте BitDecoding-FP4, который не прошёл рецензирование, авторы получили в 2,4–3 раза больше запросов в секунду на GPU, а средняя точность с форматом NVFP4 осталась в пределах 0,5 пункта от BF16. Подход рассчитан на NVIDIA Blackwell, где тензорные ядра выполняют операции FP4 без предварительной распаковки кэша.

Обычного перевода KV-кэша в FP4 оказалось недостаточно. Запрос к модели хранится как сумма двух FP4-тензоров: второй содержит остаток, который потерялся при первом округлении. Это сократило долю запроса в ошибке оценок внимания с 60% до 1%.

Ещё две поправки работают с вероятностями и ключами. Очень малые вероятности внимания при длинном контексте могли округляться до нуля, поэтому BitDecoding-FP4 меняет их масштаб прямо внутри вычисления экспоненты. Выбросы в отдельных каналах ключей сглаживают, распределяют между каналами преобразованием Адамара и затем подбирают масштаб каждого блока.

Алгоритмические поправки сами по себе могли бы съесть выигрыш на служебных операциях. Поэтому нормализацию вероятностей перестроили так, чтобы потоки GPU обрабатывали ключи параллельно, а округление вероятностей выполнялось в том же ядре. Вторую часть запроса укладывают в свободное место первой операции матричного умножения; полная схема добавляет не более 4% к времени ядра.

Качество проверяли на плотных моделях и моделях со смесью экспертов, на задачах с длинным контекстом, рассуждениями и обучением с подкреплением. Замеры всего сервера провели на NVIDIA B300 с Qwen3-4B и Qwen3-30B-A3B при контексте от 64 до 128 тысяч токенов. Поэтому заявленный прирост пропускной способности относится прежде всего к сервисам на Blackwell, где FP4 поддерживается аппаратно.

Источники

• BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design