Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
FlashOffloading научился держать полный KV-кэш длинного контекста в оперативной памяти сервера и не отдавать задержке весь выигрыш от свободной памяти ускорителя. На GLM-5.2 система увеличила пропускную способность обработки входа в 1,38 раза, а генерации — в 1,91 раза при лимите 30 мс на выходной токен. Препринт Xuan Wang и соавторов не рецензирован, а числа получили сами авторы; результат показывает альтернативу наращиванию HBM.
Кэш ключей и значений (KV-кэш) хранит данные обо всех предыдущих токенах и растёт вместе с контекстом и числом одновременных запросов. FlashOffloading оставляет полную историю в DRAM сервера, а в HBM держит только рабочую часть. Так система освобождает память ускорителя для более крупных пакетов запросов, но должна скрыть время передачи данных между двумя уровнями памяти.
При обработке входа система использует четыре буфера размером со слой: первый остаётся в HBM, остальные по очереди загружают данные следующего слоя, участвуют в вычислениях и записывают результат обратно. При генерации горячий кэш сохраняет часто нужные токены, обратный разреженный индекс быстро находит промахи, а объединённое ядро совмещает их загрузку с вычислением разреженного внимания. Набор токенов для внимания не меняется — меняется только место хранения данных.
Архитектуру проверяли на GLM-5.2 со спекулятивной генерацией MTP3 и разделёнными узлами обработки входа и генерации на Ascend910C. В замерах сравнивали работу без выгрузки, только с выгрузкой при обработке входа и с выгрузкой на обеих стадиях; запросы доходили до миллиона токенов. Обработка входа подходит и моделям с плотным вниманием, но выигрыш на генерации зависит от встроенного разреженного индексатора.
FlashOffloading уже встроен в vLLM-Ascend. Для команд на Ascend это готовая архитектурная точка отсчёта, а при переносе на другие ускорители придётся заново проверить пропускную способность DRAM и то, насколько передача данных перекрывается вычислениями.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
