Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Выбор ключей для разреженного внимания удалось ускорить без изменения самого механизма внимания. По собственным замерам авторов в работе, которая пока не прошла рецензирование, AttentionIndex повысил пропускную способность предварительной обработки входа (prefill) в 1,3–1,8 раза против полного перебора на контексте в миллион токенов. Для систем на GLM-5.3 или DeepSeek-V4-Flash это переносит оптимизацию на этап, который решает, какие ключи получит внимание.
Обучаемое разреженное внимание сначала поручает небольшому индексатору выбрать подходящие ключи, а затем считает внимание только по ним. Однако индексатор всё равно просматривает весь префикс: при миллионе токенов оценка ключей и выбор лучших занимают 53–58% времени предварительной обработки. AttentionIndex вместо этого группирует похожие ключи в инвертированном индексе, выбирает подходящие группы и только внутри них применяет исходную оценку модели.
Индекс строится прямо во время обработки запроса. Новые ключи сразу попадают в доступное окно, затем объединяются в локальные группы; периодическая перестройка смешивает похожие ключи из разных участков контекста. Каждая позиция видит только группы, собранные из предшествующих токенов, поэтому будущие ключи не влияют на выбор. Вычислительное ядро разреженного внимания при этом остаётся прежним.
HiSA тоже отбирает кандидатов в два этапа, но объединяет соседние ключи, даже если они различаются по смыслу для индексатора. При пропускной способности в пределах 5% от HiSA новый метод повысил полноту на 17 процентных пунктов для GLM-5.3 и на 10 пунктов для DeepSeek-V4-Flash. Полнота здесь показывает, какую долю ключей из результата полного перебора удалось сохранить. На длинноконтекстных тестах точность выросла до 18,4 процентного пункта при том же бюджете кандидатов.
Метод реализовали в SGLang и проверили на двух моделях, LongBench-v2 и RULER, сравнивая с полным перебором и HiSA на контекстах вплоть до миллиона токенов. Работа сосредоточена на предварительной обработке; ускорение выбора ключей при пошаговой генерации оставлено для дальнейшей разработки. Практически подход подходит моделям с обучаемым индексатором, а не любой LLM с разреженным вниманием.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
