Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модели с линейным вниманием научились находить сведения в контексте длиной до миллиона токенов, не расширяя постоянное рекуррентное состояние. Команда Li Nanbo описала NoteBank; поскольку препринт не рецензирован, все числа получены самими авторами: средняя точность Gated DeltaNet на задачах RULER выросла с 1,7% до 70,3%. Для архитектуры продукта это превращает фиксированное состояние из жёсткого предела памяти в один из её уровней.
Как архив отделяет память от вычислений
Линейное внимание не хранит отдельное представление каждого прошлого токена. Оно последовательно сжимает историю в состояние фиксированного размера, из которого модель извлекает сведения при генерации ответа.
Такое состояние выполняет две конфликтующие задачи. Оно должно продолжать вычисления по новым токенам и одновременно сохранять детали, которые могут понадобиться значительно позже. По мере роста контекста часть деталей неизбежно вытесняется, хотя сама модель могла бы использовать их, если бы снова увидела исходный текст.
NoteBank добавляет к состоянию разреженный архив текстовых фрагментов. Пока модель читает контекст, система делит его на части, ищет наиболее отличающиеся участки и сохраняет исходные идентификаторы токенов. Вопрос в этот момент ещё неизвестен, поэтому архив нельзя заранее подогнать под конкретный запрос.
Вместе с текстом NoteBank записывает компактные адреса, построенные из признаков самой модели. Когда приходит вопрос, система один раз пропускает его через копию сохранённого состояния, сопоставляет признаки вопроса с адресами и выбирает подходящие заметки. Отдельная модель для векторизации и отдельно обученный модуль поиска не нужны.
Затем временное состояние отбрасывается. Выбранные фрагменты в исходном порядке снова проходят через обычный прямой проход модели, после чего она повторно читает вопрос и генерирует ответ. Этот повторный показ текста позволяет использовать уже обученные механизмы модели вместо отдельного нейросетевого модуля чтения.
Базовые веса при этом можно не менять. Для прикладных задач авторы также проверили лёгкие адаптеры LoRA, которые включаются только при повторном чтении и ответе, но не влияют на запись и поиск заметок.
Синтетический поиск восстановился лучше прикладных задач
Метод проверяли на рекуррентных исследовательских моделях и более крупных Mamba и Qwen. Набор испытаний включал поиск одиночных и связанных фрагментов в длинном контексте, вопросы по одному и нескольким документам, суммаризацию, обучение по примерам и память агента. Сравнивали обычный прямой проход, повтор всего запроса и NoteBank с замороженными весами; для части опытов отдельно обучали LoRA-адаптеры чтения.
На RULER обычный проход и полное повторение контекста почти переставали находить нужные фрагменты на большой длине. NoteBank сохранял работоспособность сразу у нескольких архитектур, хотя результат Mamba снижался заметнее, чем у семейства GDN.
На прикладных испытаниях эффект оказался скромнее. На LongBench v2 Qwen3.5 прибавила 3,2 процентного пункта, а на MemoryAgentBench — 1,1 пункта. У GDN на LongBench почти весь выигрыш адаптированной версии обеспечила LoRA, тогда как сам NoteBank прежде всего восстановил доступ к далёким фрагментам.
Граница работы проходит между поиском свидетельства и полноценным рассуждением по длинному документу. RULER проверяет, может ли модель вернуть спрятанный фрагмент, а LongBench и MemoryAgentBench требуют ещё правильно применить найденное. Для Mamba дополнительно пришлось масштабировать рекуррентное состояние, чтобы модель сохраняла численную устойчивость на длинном контексте.
Что меняется в планах команд
NoteBank предлагает не замену линейному вниманию, а внешний уровень памяти поверх него. Такой вариант подходит системам, где история велика, потенциально полезные фрагменты встречаются редко, а будущие вопросы заранее неизвестны: агентам, длинным диалогам, репозиториям и архивам документов.
Цена хранения выглядит привлекательнее полного кеша ключей и значений Transformer. В сопоставимой конфигурации Gated DeltaNet вместе с NoteBank использовала 74,5 МиБ постоянного хранилища контекста против 192 ГиБ у полного внимания — примерно в 2600 раз меньше. В расчёте арифметических операций добавка не превышала 0,025%.
Последнее число нельзя читать как задержку сервиса. Расчёт операций не учитывает реальное время доступа к архиву, перенос данных и особенности оборудования. Сам архив и полный перебор адресов растут линейно вместе с историей, хотя объём текста, который модель повторно читает перед ответом, остаётся ограниченным настройками.
Практический вывод — не переносить продукт на линейное внимание только ради этого метода, а проверить новый слой памяти на существующем совместимом checkpoint. Прототип должен отдельно измерять качество выбора фрагментов, задержку поиска и способность модели применить найденное. Если основная проблема связана именно с потерей редких фактов, NoteBank может отложить переход к полному вниманию; если система должна сопоставлять весь документ, результаты работы такого решения не подтверждают.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
