Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Удаление сведений из параметров LLM не заставляет агента забыть их: ответы возвращаются из постоянной памяти и через инструменты. В препринте, который не рецензировался и содержит замеры самих авторов, память восстановила целевые ответы у пяти из шести проверенных версий моделей. Поэтому удаление данных в агентной системе нельзя сводить к обновлению весов модели.
Для проверки создали AUBench — среду с вымышленными авторами, постоянной памятью Mem0 и поиском по фиксированной офлайн-копии документов. Она разделяет три пути, по которым агент получает сведения: параметры модели, записи и производные объекты памяти, а также вызовы инструментов. Происхождение каждого факта отслеживается вплоть до итогового ответа.
Авторы сравнили GD, KL и NPO — методы, которые ослабляют влияние выбранных обучающих данных без полного переобучения модели. На Qwen3-8B после KL показатель совпадения токенов с эталонным ответом для забываемых фактов вырос с 16,8% у отдельной модели до 36,9% у полного агента. Метод выглядел эффективным на уровне параметров, но память и инструменты изменили результат и перевернули его место среди сравниваемых подходов.
Доступ к инструментам сам по себе тоже снижал совпадение с эталоном, однако одновременно ухудшал ответы по сведениям, которые требовалось сохранить. Такое падение нельзя считать успешным забыванием: агент мог реже вызывать поиск, возвращать пустой ответ или хуже использовать найденные данные.
Проверка охватывает Llama-3.1-8B и Qwen3-8B в контролируемой среде TOFU с вопросами о вымышленных авторах. Память была заранее зафиксирована, а поиск работал по неизменному локальному корпусу. Результаты описывают воспроизведение коротких ответов, а не доказывают физическое удаление информации или защиту от целевых атак.
Для продуктовой системы запрос на удаление данных должен затрагивать не только модель. Нужно находить исходные записи, сводки, векторные индексы, кэши, документы для поиска и сценарии вызова инструментов, а затем проверять весь агент целиком вместе с задачами, которые он обязан продолжать выполнять.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
