Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Запуск LLM с длинным контекстом удалось ускорить, одновременно сократив KV-кэш и обмен данными между GPU. В препринте Lixun Zhang и соавторов BasisKV ускорил весь цикл вывода до 1,42 раза на восьми GPU, хотя работу не рецензировали и все числа получили сами авторы. В распределённом развёртывании сжатие кэша теперь может оптимизировать не только память, но и обмен данными во всей цепочке вывода.
KV-кэш хранит векторы Key и Value для уже обработанных токенов, поэтому растёт вместе с контекстом. При тензорном параллелизме, когда вычисления модели делят между GPU, ускорители дополнительно обмениваются частичными результатами внимания. Прежние методы низкорангового сжатия в основном уменьшали сам кэш, но оставляли этот обмен без изменений.
BasisKV сжимает частичный результат внимания до обмена и сохраняет отдельное представление от каждого GPU. Параметры сжатия подбирают совместно по полному выходу слоя, а не независимо для каждого ускорителя. Для линейного пути Value то же преобразование встраивают в проекцию модели: она сразу создаёт сжатые Value, которые занимают меньше места в кэше и передаются между GPU в том же виде.
Сжатые Value также помогают выбирать страницы Key. Они предсказывают часть данных для маршрутизации, а отдельный компактный остаток хранит то, что из Value восстановить нельзя. Полные Key читаются только для выбранных страниц, после чего модель вычисляет точные оценки внимания. При контексте 128K на одном NVIDIA L40S блок внимания работал в 1,63 раза быстрее, а вся модель — в 1,25 раза быстрее.
Сжатие проверяли на Llama-3.1, Qwen3 и Qwen3.5, сравнивая его с PaLU. Маршрутизацию сопоставляли с Loki, ShadowKV и LRQK на RULER-128K и задачах LongBench. Системные замеры охватывают одиночный L40S и распределённый запуск на таких же GPU, поэтому результаты прежде всего описывают стандартное внимание с длинным контекстом на этой аппаратной платформе.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
