Журнал · Rit.work

LMMR учит малых агентов выбирать объём памяти, а не только источник

LMMR выбирает источник и длину фрагмента под токен-бюджет, сокращая контекст малых языковых агентов без потери нужных связей между фактами.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Малого языкового агента научили выбирать не только запись в памяти, но и объём текста, который стоит из неё прочитать. Pengfeng Song, Yunkai Zhuang и Liye Shi сократили вход памяти на 23,1–26,9% и подняли F1 на 2,14–4,55 пункта; поскольку работа не рецензирована, эти числа получили сами авторы. Для систем с жёстким токен-бюджетом это переносит часть работы с последующего сжатия текста в сам поиск.

Как поиск выбирает длину фрагмента

Обычный поиск ранжирует записи целиком. Если нужный факт занимает одно предложение, агент всё равно получает окружающий абзац, который отнимает место у следующего источника. При вопросах в несколько шагов это мешает: первая запись устанавливает одну связь, а для ответа нужно уместить ещё одну.

LMMR хранит для каждого источника несколько представлений: исходные абзацы и короткие фрагменты. Они связаны с исходным текстом через границы предложений и символов, поэтому система может выбрать короткую версию, а затем восстановить её место в источнике без пересказа и генеративного сжатия.

Обучение строится вокруг уже найденного опорного абзаца. Короткий фрагмент считают положительным примером, только если он сохраняет ту же недостающую связь, что и полный родительский абзац. Релевантный текст без нужного факта и фрагменты, которые лишь повторяют сведения из опоры, становятся отрицательными примерами.

При поиске начальная модель релевантности предлагает опоры. Затем модель повторного ранжирования оценивает, добавляет ли каждый кандидат сведения, которых ещё не хватает для ответа. Отдельный штраф снижает оценку текста, который лексически повторяет опору, а финальный селектор выбирает совместимую пару в пределах бюджета.

В одном примере оба подхода нашли биографии Joe Buck и Bob Buck. Расширение запроса заставило модель ответить именем отца — Jack Buck. LMMR оставил полный абзац из одного источника и короткое предложение из другого, после чего та же модель назвала нужную команду — St. Louis Cardinals.

Метод проверяли на полных проверочных наборах HotpotQA, 2WikiMultihopQA и MuSiQue. Основной режим ограничивал доказательства 400 токенами и не менял веса отвечающей модели Qwen3.5-2B. Модель поиска обучали на HotpotQA, а на двух других наборах проверяли перенос без дополнительного обучения.

Короткий контекст сохранил качество ответа

Результат оценивали по F1 — метрике, которая объединяет точность и полноту совпадения ответа. LMMR сравнили с расширением запроса, MMR, поиском только по абзацам и схемами, где уже найденный текст отдельно сокращает LLMLingua-2.

На HotpotQA LMMR сохранил практически то же качество, что и обученный на тех же вопросах поиск по полным абзацам, но сократил средний объём доказательств с 242 до 185 токенов, то есть на 23,5%. Это отделяет пользу выбора гранулярности от пользы самого обучения ранжировщика.

Простое сокращение после поиска оказалось хуже. При сопоставимой длине входа LMMR опередил связку поиска по абзацам и LLMLingua-2 на 2,76 пункта F1 в HotpotQA и на 3,99 пункта в 2WikiMultihopQA. Обе разницы статистически значимы.

Причина видна в устройстве метода: компрессор решает, какие токены удалить из уже выбранного текста, а LMMR раньше решает, какой вид источника нужен для недостающего шага. Он может оставить абзац там, где связь зависит от нескольких предложений, и взять короткий фрагмент там, где факт выражен локально.

Меняет ли LMMR планы продуктовой команды

Работа даёт практический шаблон для агентов, которые отвечают небольшой локальной моделью и читают длинные записи памяти. Вместо конвейера «найти документы, обрезать их, передать модели» можно хранить связанные представления разной длины и учить поиск выбирать дополнение к уже найденному факту.

Для этого понадобятся данные с указанием поддерживающих фрагментов. Положительная пара должна показывать, что короткая и полная версии содержат одну недостающую связь, а отрицательные примеры — отделять полезное дополнение от релевантного повтора. Без такой разметки LMMR не превращается в готовую замену обычному поиску.

Сокращение контекста также не гарантирует меньшую задержку всего запроса. В аппаратном опыте, где поиск выполнялся на A100, а ответ — на Jetson Orin, полный запрос с LMMR занял примерно на 18% больше времени: дополнительное ранжирование перевесило экономию при обработке короткой подсказки. Поэтому сравнивать нужно не только расход токенов отвечающей модели, но и стоимость построения контекста.

Границы результата узкие: работа рассматривает вопросы по англоязычным наборам, где ответ требует связать несколько источников, а селектор собирает опору и одно дополнение. Для истории диалога, журналов действий агента и памяти с десятками зависимых шагов архитектуру придётся проверять отдельно. Но для прототипа малого агента LMMR уже задаёт проверяемую гипотезу: выбирать объём чтения одновременно с источником, а не исправлять контекст после поиска.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу