Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Декодирование длинного контекста в DeepSeek-V3.2 и GLM-5 ускорили, запустив выбор нужных токенов одновременно с вычислением внимания. В лучшем замере DeepSeek-V3.2 обрабатывал токены на 14,5% быстрее, чем с одним IndexCache при той же доле работающих индексаторов. Хотя препринт не рецензирован и числа получили сами авторы, метод предлагает готовую оптимизацию серверного вывода без дообучения модели.
В DeepSeek Sparse Attention каждый слой обращается не ко всему контексту: индексатор оценивает сохранённые токены и выбирает 2048 наиболее подходящих. На контексте 128K сканирование занимает около двух третей времени в части слоя, которая отвечает за внимание, а само внимание ждёт его завершения.
Команда Writer AI Research использовала сходство выборок у соседних слоёв. В Multi-layer Indexer, или MLI, слой берёт результат предыдущего индексатора, а собственный индексатор запускает параллельно на другом потоке CUDA для следующего слоя. Метод не добавляет веса и в базовой реализации работает внутри графа декодирования SGLang без замены вычислительных ядер.
MLI дополняет IndexCache: тот отключает индексатор в части слоёв, а MLI скрывает время оставшихся сканирований. На GLM-5 выигрыш над IndexCache достиг 9,8%. На DeepSeek-V3.2 при контексте 128K связка дала пропускную способность в 1,32 раза выше исходной модели, тогда как IndexCache с вдвое меньшим числом свежих выборок дал 1,28 раза.
Проверки охватили DeepSeek-V3.2 и GLM-5, контексты от 10K до 195K и один узел с восемью H200; главные цифры относятся к декодированию одного запроса. На LongBench, LongBench v2 и RULER качество обычно оставалось в пределах нескольких процентных пунктов от IndexCache, а большинство различий укладывалось в погрешность. Выигрыш сокращался, когда сервер одновременно обрабатывал больше коротких запросов, поэтому MLI прежде всего меняет расчёт инфраструктуры для длинного контекста и низкой параллельности.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
