Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Память ИИ-агента научились оценивать по тому, использовал ли он полученную запись и к чему это привело. В работе Chinese University of Hong Kong итоговая доля решённых задач отличалась от запуска без памяти не более чем на 0,4 процентного пункта, хотя системы заметно различались по качеству доставленных записей; работа не прошла рецензирование, а числа получили сами авторы. Для разработки агентов это меняет критерий проверки: успешное извлечение записи ещё не означает, что память принесла пользу.
Метод MemUse разбирает записанную последовательность действий агента. Для каждой доставки он устанавливает, какой текст попал в контекст, сравнивает его с уже доступной информацией, а затем отслеживает дальнейшие вызовы инструментов и их последствия. Модель-оценщик отдельно проверяет уместность, точность, новизну, влияние на действия и наблюдаемый результат; программные проверки требуют прочитать все указанные фрагменты траектории.
Большинство доставленных записей оказалось неуместным, а среди уместных агент не использовал 51–80% в зависимости от системы. В двух системах основную часть доставок составляла информация, которая ещё оставалась в контексте. При этом полезное применение памяти не гарантировало общий успех: 23,2% таких эпизодов всё равно закончились нерешённой задачей.
Проверка охватила 8 000 запусков на SWE-bench Verified и четыре конфигурации MemGovern, Mem0 и TencentDB Agent Memory. Их сравнивали с повторными запусками без памяти; при оценке модель также получала эталонное исправление задачи. Поэтому результаты относятся к агентам программирования и не показывают, как MemUse поведёт себя в других процессах.
Практический вывод для системы наблюдаемости — сохранять не только поисковый запрос и найденные записи, но и точный контекст доставки, последующие действия и стоимость токенов. Такой журнал позволяет отделить полезные подсказки от проигнорированных, повторных и вредных, а затем точечно менять фильтрацию, удаление дублей и момент доставки.
Источники
Иллюстрация: рисунок из статьи «Delivered, Not Used: Evaluating Agent Memory at Its Point of Use», Changran Xu, Zeju Li, Qiang Xu, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
