Журнал · Rit.work

Gemma 4 сокращает KV-кэш без нового ядра внимания

Компактная раскладка KV-кэша снижает расход памяти Gemma 4 31B и позволяет vLLM обрабатывать больше длинных запросов на том же GPU.

Rit.work
Студия разработки
18 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

KV-кэш глобальных слоёв Gemma 4 научились хранить компактнее без переобучения модели и замены ядра механизма внимания. В препринте San José State University, который не рецензирован и где все числа получил сам автор, память на запрос при длинном контексте сократилась в 1,34–1,40 раза. Для сервинга это даёт больше одновременно обрабатываемых запросов, когда GPU ограничивает именно объём кэша.

KV-кэш хранит ключи и значения для уже обработанных токенов, чтобы модель не вычисляла их заново. В глобальных слоях Gemma 4 значение выводится из той же проекции, что и ключ, а кодирование позиции меняет лишь часть измерений. Поэтому вместо строки из 1024 значений можно сохранить 640: неизменённое ядро читает одну область памяти через два перекрывающихся представления — отдельно как ключ и как значение.

Прототип встроили в vLLM поверх существующего ядра Triton. На паре GPU с раздельной обработкой входа и генерацией, передачей кэша через NIXL и выгрузкой в оперативную память число декодируемых токенов за шаг выросло в 1,38 раза, а пропускная способность — в 1,30 раза. Выигрыш появился за счёт более крупного пакета запросов: при одинаковом пакете дополнительные преобразования замедляли шаг на 4–9%.

Компактная раскладка дала те же биты, что и её имитация на обычном кэше. По сравнению со штатным движком изменились два итоговых ответа из 432, причём разница осталась в пределах шума запусков. В арифметике с бесконечной точностью метод точен, но при 16-битных вычислениях порядок округления меняется.

Основные замеры охватывают Gemma 4 31B с 16-битным KV-кэшем, одну сборку vLLM, ядро Triton и GPU A100. Память измеряли на длинных контекстах, но проверка качества ответов доходила только до 7,7 тысячи токенов. Совместный выигрыш с 8-битным KV-кэшем работа не подтверждает, поэтому метод пока применим прежде всего к 16-битному сервингу моделей Gemma 4 с такой же связью ключей и значений.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу