Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Внешнюю память LLM научились собирать из всей коллекции документов, не помещая исходный текст в контекст. В нерецензированном препринте, где числа получили сами авторы, Memorilla в среднем обошла полнотекстовый контекст, RAG, Mem0 и MemoRAG. Подход позволяет сохранить фиксированный размер контекста, даже когда история пользователя или агента продолжает расти.
Как коллекция превращается в фиксированную память
Обычный RAG находит несколько фрагментов, похожих на запрос, и передаёт их модели как текст. Такой поиск хорошо возвращает точные имена и формулировки, но может пропустить связь между документами, если нужные сведения разбросаны по коллекции или сформулированы иначе.
Полный контекст решает проблему отбора грубо: модель получает все документы сразу. Вместе с полезными сведениями в контекст попадают повторы и отвлекающие фрагменты, а задержка и расход памяти растут вместе с коллекцией. Если текст превышает окно модели, его всё равно приходится сокращать или обрабатывать специальным режимом длинного контекста.
Memorilla сначала кодирует каждый документ в числовое представление смысла. Эти представления сохраняются и повторно используются для следующих запросов; при добавлении документа пересчитывать всю коллекцию не нужно.
Для нового запроса отдельный обучаемый модуль просматривает представления всех документов. Запрос меняет внимание модуля: для вопроса о предпочтениях пользователя он собирает одни сведения, для вопроса о прошлом действии агента — другие. Результат всегда занимает 16 скрытых токенов, которые сразу находятся в пространстве входных представлений LLM.
Основная языковая модель получает эти токены перед текстом запроса и обрабатывает их обычным механизмом внимания. Её параметры и архитектуру менять не требуется. В реализации из работы заморожены как кодировщик документов, так и Qwen3-8B, а обучается только модуль памяти и проекция в пространство модели — около 194 млн параметров.
Сжатие помогает связывать факты, но теряет точные формулировки
Метод проверяли на задачах персонализации, вопросах по длинным документам и ответах с опорой на базу знаний. Memorilla показала лучший результат на пяти из восьми наборов данных. Все основные сравнения использовали один стек моделей, поэтому работа измеряет разницу между способами передать память, а не между LLM разного уровня.
На FactKG точность достигла 84,33% против 80,43% у полного контекста, хотя исходные документы заняли в 108 раз меньше токенов. Разрыв увеличивался в вопросах, где требовалось связать больше сущностей и фактов. Это соответствует устройству метода: он собирает общую смысловую картину, а не выбирает несколько независимых отрывков.
На NarrativeQA картина разделилась. Memorilla лучше отвечала на вопросы о причинах и ходе событий, тогда как RAG чаще выигрывал там, где нужно было вернуть имя или другую точную формулировку. Скрытая память сохраняет отношения и общий смысл, но не гарантирует дословного воспроизведения источника.
Короткие документы тоже не всегда стоит сжимать. На PubMedQA, где в контекст помещается небольшой набор аннотаций, несколько текстовых методов обошли Memorilla. Полный текст или обычный RAG остаются разумнее, когда коллекция мала, а ответ зависит от точной цитаты.
Когда Memorilla меняет архитектурный план
Работа даёт основание прототипировать скрытую память для персональных ассистентов, агентов с длинной историей и систем, которые связывают сведения из многих документов. Здесь фиксированный бюджет контекста упрощает прогноз затрат на генерацию: история может расти, но основная LLM каждый раз получает одинаковый объём памяти.
Это не поиск с постоянной стоимостью. Модуль читает представления всей коллекции, поэтому его собственные вычисления растут с числом документов, хотя декодер по-прежнему видит короткий контекст. При коллекции из 512 документов на одном H100 весь запрос выполнялся в 27 раз быстрее полного контекста, но итоговая задержка будет зависеть от оборудования и стека обслуживания.
Memorilla также нельзя поставить вместо RAG без обучения. Модуль сначала учат сохранять содержание, затем работать с разными языковыми задачами и после этого настраивают на целевые наборы данных. Для части тестов авторы использовали отдельную настройку под конкретную задачу. Команде понадобится собственная обучающая выборка, если рабочие запросы заметно отличаются от исследовательских.
Практичная схема может сочетать оба подхода: скрытая память собирает предпочтения, историю и связи между событиями, а текстовый поиск возвращает документы, которые нужно процитировать дословно. Текущие результаты получены на английских задачах и одном основном семействе моделей, поэтому перенос на другой язык, закрытые корпоративные документы или иной декодер требует отдельной проверки.
Внешнее хранение упрощает удаление памяти пользователя без переобучения LLM, но не снимает требований к защите данных. Сохранённые представления могут кодировать чувствительные сведения так же, как поисковый индекс, и должны наследовать его правила доступа и удаления.
Источники
Иллюстрация: рисунок из статьи «Memorilla: Latent Semantic Memory for LLMs», Adibvafa Fallahpour, Parsa Idehpour, Vignesh Kothapalli и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
