Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
KV-кэш моделей с MLA удалось сжать до 2 бит так, чтобы он меньше терял точность на длинном контексте. Команда из Harbin Institute of Technology, Tsinghua University и Baidu представила RoLaQ; в препринте, который не прошёл рецензирование и содержит замеры самих авторов, реализация вместила в 3,96 раза больше токенов при том же объёме памяти. Это позволяет обслуживать более длинные запросы и повышать параллелизм без замены GPU.
В многоголовом латентном внимании ключи и значения строятся из общего компактного представления токена. Ошибка квантования поэтому одновременно меняет выбор информации и прочитанное значение. RoLaQ совместно подбирает поворот системы координат и диапазон квантования с четырьмя уровнями, ориентируясь на оба пути.
Калибровка проходит заранее при замороженных весах модели. Версия в BF16 задаёт эталонные распределения следующего токена и выходы слоёв внимания, а RoLaQ приближает к ним результат после квантования. При обработке запросов обратный поворот встраивается в проекции MLA, поэтому отдельное умножение матриц не требуется.
На трёх моделях и шести задачах RoLaQ превзошёл лучший из сравниваемых 2-битных методов в среднем на 1,1–3,8 процентного пункта. В SGLang на DeepSeek-V2-Lite и одном A100 реализация обрабатывала декодирование в 2,51 раза быстрее BF16 при входе длиной 256 тысяч токенов.
Точность проверяли на DeepSeek-V2-Lite, Moonlight-16B-A3B и MiniCPM3-4B, сравнивая RoLaQ с RTN, QuaRot, KVarN и OSCAR. Длинный контекст отдельно оценивали на RULER, причём тестовые последовательности были длиннее калибровочных. Замеры скорости охватывают только DeepSeek-V2-Lite на A100: при коротком контексте расходы на упаковку и распаковку могут перекрыть выигрыш. Кроме того, RoLaQ сжимает общее содержимое кэша, но сохраняет позиционные ключи RoPE в BF16.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
