Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Удаление сообщения с секретом не заставляет память LLM-агента забыть факт: его можно собрать из обычных записей, где он прямо не назван. В MemCut после дополнительной очистки память всё ещё позволяла восстановить 39–76% секретов; препринт не рецензирован, а числа получили сами авторы. Поэтому запрос «забыть» нельзя проверять только ответом агента — нужно искать всю цепочку уцелевших свидетельств.
MemCut содержит 456 придуманных вручную секретов в длительных разговорах. Для каждого размечены прямое раскрытие, косвенные свидетельства и минимальные сочетания записей, из которых можно вывести факт. Например, отдельно сохранённые сведения о найме подрядчика, владельце компании и семейной связи могут вместе раскрыть конфликт интересов, хотя ни одна запись не называет его прямо.
Бенчмарк разделяет штатное и остаточное восстановление. В первом случае агент отвечает через собственный механизм поиска по памяти. Во втором модель получает все сохранившиеся записи, связанные с секретом, минуя поиск. Если штатный ответ исчез, а остаточное восстановление работает, система не забыла факт — она лишь перестала находить его текущим запросом.
В самой строгой из базовых схем модель получала 20 найденных реплик, ранжировала их и удаляла 10 сверх сообщения с прямым раскрытием. Главной проблемой оказался не выбор среди кандидатов, а их охват: нужные свидетельства часто вообще не попадали в набор для очистки. Расширение набора при прежнем бюджете удаления снижало остаточное восстановление сильнее, чем удаление всех исходных кандидатов.
Проверка охватила пять архитектур текстовой памяти и четыре LLM. Сценарии контролируемые: рабочие, семейные и социальные разговоры с заранее заданными цепочками свидетельств. Результат относится к внешней текстовой памяти агента, а не к сведениям, записанным в весах модели. Для продукта этого достаточно, чтобы разделить удаление найденных записей и проверку того, можно ли по оставшимся данным снова вывести секрет.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
