Журнал · Rit.work

Разреженное внимание теряет контекст в нескольких головах

Точность поиска в длинном контексте можно восстановить без дообучения, если найти головы внимания, где модуль отбора пропускает нужные блоки.

Rit.work
Студия разработки
18 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Потери при поиске в длинном контексте удалось свести к нескольким головам внимания, которые пропускают нужный фрагмент. На MiniCPM4.1-8B с контекстом 64K точность выросла с 54,1 до 97,5%, хотя препринт не рецензирован и числа получили сами авторы. Такой дефект можно исправить без дообучения всей модели.

Wenhe Zhang из Yale University и Boxing Chen из Huawei Canada изучили модели с разреженным вниманием. Они читают не весь контекст, а только блоки, которые модуль отбора считает подходящими. Проверка показала, что штатного лимита блоков хватает: модуль просто ставит искомый блок слишком низко и не включает его в обработку.

В семействе InfLLM-V2 ошибка сосредоточилась в трёх головах внимания. Они реагируют на нужный фрагмент, но модуль отбора усредняет ключи внутри блока, поэтому один решающий токен растворяется среди остальных. Авторы предложили либо включить полное внимание только в этих головах, либо заменить отбор для них 4-битным модулем оценки ключей. Оба варианта работают без обучения и не увеличивают штатный лимит выбранных блоков.

Полное внимание в найденных головах сохранило 84–89% выигрыша разреженного режима по времени до первого токена. Это дешевле, чем возвращать полное внимание во всей модели, однако выгода зависит от архитектуры: у MoBA ошибка распределилась по многим головам, поэтому точечное исправление подходит хуже.

Основной тест искал несколько ключей среди похожих фрагментов в RULER MK3. Метод также проверили на других задачах RULER, HELMET и наборах с реальными длинными текстами, а среди модулей отбора — на InfLLM-V2, NOSA, SeerAttention-R, NSA, DashAttention и MoBA. Две модели, которые выбирают отдельные токены, а не усреднённые блоки, такой потери в проведённом тесте не показали.

Для внедрения это даёт практическую проверку: прежде чем увеличивать лимит разреженного внимания или переобучать модель, можно измерить вклад отдельных голов на калибровочных запросах. Если потеря сосредоточена в малой группе, локальное полное внимание возвращает точность и сохраняет большую часть выигрыша по задержке.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу