Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
FOSCAR ускоряет этап внимания при генерации LLM с низкоразрядным KV-кэшем. На H100 ядро с 2-битным кэшем оказалось в среднем в 3,36 раза быстрее FlashInfer BF16; препринт не рецензирован, и числа получили сами авторы. Для систем с длинным контекстом результат показывает: сжатие кэша экономит время, только если ядро не тратит выигрыш на подготовку данных.
KV-кэш хранит ключи и значения для уже обработанных токенов, а модель перечитывает его при генерации каждого следующего токена. Квантизация сокращает объём данных до двух или четырёх бит на значение, но обычные ядра затем восстанавливают каждое значение: переводят целое число в формат для вычислений, применяют общий для группы масштаб и добавляют смещение.
Эта работа загружает арифметические блоки и занимает слоты выдачи инструкций. При переходе от H100 к B200 пропускная способность памяти выросла в 2,39 раза, а пропускная способность выдачи инструкций — только на 11%. Поэтому на B200 подготовка операндов может ограничить скорость раньше, чем чтение из памяти.
FOSCAR переносит масштаб на другой вход матричного умножения или на его частичный результат, а смещение добавляет как отдельную поправку. Упакованные целые значения поступают в Tensor Cores через побитовые операции без полного восстановления каждого элемента. В точной арифметике результат совпадает с вычислением после обычной деквантизации.
Ядра проверили на H100 и B200 с 2- и 4-битными кэшами, сравнив их с FlashInfer и TensorRT-LLM. На B200 вариант INT2 обошёл FlashInfer BF16 в среднем в 2,67 раза. После интеграции в SGLang пиковая суммарная пропускная способность Qwen3-8B на длинных запросах выросла до 170% относительно OSCAR; на GPQA-Diamond и GSM8K измеримой разницы в точности между конфигурациями не обнаружили.
Практический вывод касается не только конкретного ядра. При выборе низкоразрядного KV-кэша следует проверять весь путь до Tensor Cores: формат хранения сам по себе не гарантирует ускорения, если деквантизация остаётся во внутреннем цикле внимания.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
