Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Длинный контекст можно обрабатывать, не сравнивая каждый новый запрос со всей историей и не выбрасывая старые фрагменты навсегда. В препринте Zyphra Research, который не прошёл рецензирование и приводит числа из замеров самих авторов, метод ZHA по расчётной модели обгоняет другой вариант разреженного внимания примерно после 500 тысяч токенов. Для команд это пока не готовый путь к контексту произвольной длины, а архитектура, которую уже имеет смысл проверять на собственных длинных задачах.
Дерево сокращает сам поиск нужных ключей
Полное внимание сопоставляет каждый токен со всеми предыдущими. При первичной обработке запроса объём вычислений растёт квадратично, а при генерации каждого следующего токена модель заново читает всё более длинный кэш ключей и значений (KV cache).
Обычное разреженное внимание выполняет дорогую операцию только для подходящих ключей. Но индексатор, который ищет эти ключи, часто всё равно просматривает весь кэш. Вычисления переносятся из основного внимания в поиск, поэтому выигрыш остаётся постоянным множителем и не меняет характер роста затрат.
Zyphra Hierarchical Attention, или ZHA, строит над кэшем дерево. Соседние ключи объединяются в блоки, для них создаются сжатые описания, затем тем же способом объединяются описания следующего уровня. Их рассчитывают с помощью небольшого набора обучаемых эталонных запросов, которые должны передать суммарную значимость исходного блока.
Новый запрос начинает поиск с верхнего уровня. Он оценивает крупные блоки, оставляет узлы, которые вместе набрали заданную долю вероятности, и спускается только в соответствующие ветви. Основное внимание получает исходные ключи из найденных листьев, а не их сжатые замены.
Выбор зависит от запроса: один токен может обратиться к началу документа, другой — к соседнему фрагменту. При этом ZHA хранит полный KV cache, поскольку ключ, бесполезный сейчас, может понадобиться позже. Дерево сокращает вычисления и чтение данных, но не решает задачу хранения длинной истории.
По мере роста контекста метод добавляет уровни. Число проверяемых узлов растёт медленнее длины последовательности, поэтому общая стоимость внимания получается ниже квадратичной, но всё же выше линейной. Именно изменяемая глубина отличает ZHA от одноуровневого поиска по блокам.
Замеры подтверждают качество, а предельный выигрыш пока рассчитан
Исходное наблюдение проверяли на длинных художественных текстах. Для естественного языка набор ключей, который получает основную массу внимания, рос медленнее контекста. Однако объединение таких наборов для многих будущих запросов постепенно охватывало почти весь кэш: это объясняет, почему постоянное удаление редко используемых ключей может разрушить последующее извлечение.
ZHA переносили на Qwen3.6 и Nemotron, включая модель размером до 35 млрд параметров. Базовые веса не меняли: обучали только индексатор, заставляя его воспроизводить распределение исходной модели на нескольких миллиардах токенов. Архитектура сохраняла результат при глубине дерева до шести уровней.
Качество проверяли на извлечении данных из длинного контекста, рассуждениях, математике и агентном написании кода. Эмпирические тесты длинного контекста доходили до 256 тысяч токенов; в этом диапазоне ZHA практически сохраняла показатели полного внимания при подходящих настройках маршрутизации.
Дальнейший выигрыш оценивали аппаратной моделью для H100, а не сквозными замерами готового сервиса. Она учитывает маршрутизацию, разреженное внимание и обслуживание дерева и предсказывает, что ZHA обойдёт MSA примерно на контексте в полмиллиона токенов. Утверждения о существенно более длинных окнах основаны уже на продолжении найденных закономерностей за измеренный диапазон.
Такая закономерность зависит от данных. На последовательности случайных токенов, где любой элемент одинаково вероятно понадобится позже, дереву нечего сжимать: точное извлечение снова требует полного просмотра. Поэтому результаты на книгах и синтетических задачах извлечения не гарантируют тот же профиль для журналов событий, исходного кода или внутренних документов конкретного продукта.
Планы меняются только для продуктов, где внимание уже стало узким местом
ZHA интересна командам, которым нужен глобальный доступ к длинной истории и не подходит скользящее окно или состояние фиксированного размера. Метод можно добавить к заранее обученной модели без изменения её базовых весов, поэтому эксперимент не требует полного повторного обучения.
План хранения менять рано: полный KV cache остаётся в памяти, а дерево добавляет собственные описания блоков. Потенциальная экономия относится прежде всего к вычислению внимания и объёму данных, который приходится читать при каждом запросе. Если продукт ограничивает ёмкость GPU, а не время внимания, ZHA не устраняет основной предел.
Не стоит также закладывать в архитектуру контексты за пределами проверенного диапазона только по расчётной кривой. Практический пилот должен измерять задержку всего сервиса, потребление памяти и качество на реальных последовательностях, меняя порог маршрутизации. На коротких запросах стоимость дерева может не окупиться, а на длинных выигрыш зависит от того, насколько данные допускают иерархический поиск.
Работа меняет направление экспериментов: вместо постоянного удаления старых токенов можно сохранить историю и ускорить доступ к ней. Но обещание контекста на миллионы токенов станет инженерным результатом лишь после сквозных замеров, где модель не только принимает такой ввод, но и надёжно находит в нём нужные данные.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
