Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Правильный ответ ИИ-агента не гарантирует, что его долговременная память хранит верные факты: ошибки могут скрыть генерация ответа или, наоборот, поиск. В препринте Sebastian-Antonio Toma и соавторов, который не прошёл рецензирование, приведены замеры самих авторов: прямая проверка хранилища и проверка через вопросы расходятся в среднем на 16 процентных пунктов. Для выбора архитектуры памяти это значит, что одного сквозного теста недостаточно.
Обычные бенчмарки задают агенту вопросы и оценивают итоговые ответы. Такой тест смешивает три компонента: запись фактов, поиск по ним и формирование ответа. Сильная LLM может восстановить ответ из неполных фрагментов, хотя память обновилась неправильно; исправное хранилище, напротив, получит низкую оценку, если поиск не вернул нужный факт.
Авторы собрали FEB-30 из 30 заранее заданных траекторий изменения фактов. Они описывают шесть типов задач и три уровня сложности: от явного утверждения до вывода из нескольких документов. После загрузки каждого письма, протокола или разговора содержимое памяти сравнивают с ожидаемым состоянием и проверяют, создала ли система новый факт, обновила старый, подтвердила его без изменения или заменила устаревший.
На тестовой системе правильное действие с фактом выбиралось лишь в 20% случаев. Проверка через вопросы не показывала, где возник сбой: при извлечении утверждения из документа, объединении наблюдений, обновлении состояния или разрешении противоречия. Прямая проверка хранилища превращает общий балл в диагностику конкретного этапа.
FEB-30 проверяет факты, которые меняются в технических и деловых документах от нескольких авторов. Эксперимент поставлен на одной типовой схеме: система извлекает наблюдения, строит векторные представления, ищет связанные записи и решает, как изменить память. Поэтому бенчмарк подходит прежде всего для проверки подобных конвейеров, а не для общего рейтинга всех видов памяти агента.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
