Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
DriftGuard определяет, какая запись в долговременной памяти изменила поведение LLM-агента и привела его к опасному действию. Работа пока не рецензирована, а числа получили сами авторы: проверка добавила 1,52 секунды на задачу и не потребовала повторно запускать агента с инструментами. Для команд это вариант защиты памяти, который не переносит дорогой причинный анализ в рабочий контур.
Подозрительный текст не обязательно вызывает сбой
Агент с долговременной памятью сохраняет прошлые решения, пользовательские предпочтения и последовательности действий. Перед очередным шагом он извлекает несколько подходящих записей и использует их вместе с запросом и историей выполнения.
Если в память попала вредоносная или ошибочная инструкция, она может изменить вызов инструмента и конечный результат. Авторы называют это дрейфом памяти: агент начинает выполнять другую последовательность действий из-за одной из извлечённых записей.
Обычный фильтр текста плохо находит источник такого дрейфа. Необычная формулировка, низкая вероятность текста, высокая релевантность поиску или внимание модели показывают корреляцию, но не отвечают на главный вопрос: изменилось бы поведение агента без этой записи.
В примере с бронированием авиабилетов подозрительно выглядит безвредная запись-приманка. Настоящая атака скрыта в обычной инструкции с подменённым адресом платёжного сервиса. Только удаление этой инструкции предотвращает передачу учётных данных.
Прямой причинный тест требует по очереди нейтрализовать каждую извлечённую запись, заново выполнить оставшиеся шаги и сравнить результаты. Вместе с агентом приходится повторно запускать инструменты и проверку результата, поэтому цена растёт с числом записей и длиной оставшейся задачи.
Как причинную разметку переносят в модель риска
DriftGuard разделяет обучение и рабочую проверку. На этапе подготовки данных система сохраняет состояние непосредственно перед действием агента, затем продолжает выполнение по двум веткам. Первая использует исходную память, во второй нейтрализована одна выбранная запись.
Нейтрализацию выполняет LLM: она удаляет предполагаемую вредоносную инструкцию или связь, но старается сохранить полезные факты, структуру и детали задачи. Обе ветки получают одинаковую историю, состояние инструментов, правила генерации и начальное случайное значение. Если нейтрализация затронула полезный смысл или изменились другие входные данные, такую пару исключают из обучения.
Обе ветки продолжаются до завершения задачи, а не только до следующей реплики. Это позволяет увидеть отложенный эффект: агент может выбрать тот же первый инструмент, но позже передать данные по другому адресу или нарушить ограничение.
Результат раскладывают на четыре признака: изменилось ли действие, исчезла ли атака, прекратилось ли нарушение правил и восстановилось ли успешное выполнение задачи. Каждый парный прогон повторяют трижды, после чего выбирают значение большинства. Так единичное случайное отклонение агента реже превращается в обучающую метку.
На этих метках обучают модель риска. Перед действием она получает запрос, историю, доступные записи памяти и контекст агента, а затем оценивает каждый из четырёх исходов для каждой записи. Если максимальная оценка превышает настроенный порог, запись нейтрализуют до вызова инструмента. Контрфактические траектории в этот момент уже не нужны.
Рабочий контур ускоряется, подготовка данных — нет
На фиксированном наборе из 100 задач DriftGuard добавил 1,52 секунды задержки против 6,19 секунды у A-MemGuard — на 75,4% меньше. Прямой контрфактический анализ оставался примерно в 20 раз медленнее при разном числе записей-кандидатов. Основную часть задержки DriftGuard создаёт не оценка риска, а переписывание записи после срабатывания защиты.
Порог срабатывания задаёт обмен между безопасностью и полезностью. Слишком низкий порог заставляет переписывать почти всю память и мешает выполнять задачи. Слишком высокий пропускает атаки; в работе его выбирали на отдельной проверочной части данных, сравнивая долю успешных атак и долю успешно завершённых задач.
Метод проверяли на агентах, которые вызывают инструменты, с наборами MINJA, AgentPoison, MPBench, Mem2ActBench, STATE-Bench и DBBench. В тестах использовали атаки Direct Override, MemoryGraft и Sleeper Memory. Поэтому результаты относятся прежде всего к системам, где извлечённая память влияет на последовательность вызовов инструментов.
Работа меняет архитектурный план, если команда собирается хранить опыт агента между сессиями. Проверку стоит ставить после извлечения памяти, но до выполнения действия, а причинные прогоны — вынести в отдельный конвейер подготовки данных. Для этого понадобятся воспроизводимые снимки состояния, изолированный запуск инструментов, проверка результата и модель, которая безопасно нейтрализует записи.
При этом DriftGuard не устраняет дорогую часть, а переносит её из рабочего контура в обучение. Разметка всё равно требует повторных прогонов агента, инструментов и оценщиков. Метод также вмешивается только в одну запись за раз, поэтому не учитывает атаки, которые складываются из нескольких по отдельности безвредных фрагментов; безопасность переписывания при смене предметной области тоже не гарантирована.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



