Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Память персонального ИИ-агента может превратить его собственное предложение в поручение, которого пользователь не давал. В препринте Carnegie Mellon University и New York University, который не проходил рецензирование и содержит замеры самих авторов, Grounding Layer заметно сократил такие действия без переобучения модели. Для агентов с доступом к почте, покупкам и календарю одного хранилища фактов недостаточно: системе нужно отдельно учитывать, что именно пользователь согласовал.
Предложение и поручение выглядят одинаково для памяти
Допустим, агент предлагает автоматически отклонять холодные письма продавцов. Пользователь может согласиться, ограничить правило отдельным типом писем, заменить его другим или просто продолжить разговор. Во всех случаях в истории остаётся одна и та же фраза агента, но право действовать возникает не всегда.
Обычная память извлекает из диалога смысл: пользователь не любит рекламные письма или хочет их отклонять. При этом она может потерять происхождение фразы и реакцию пользователя. Предложение превращается в постоянную пользовательскую установку, а после извлечения из памяти выглядит как прямое поручение.
Хорошо помнить предпочтения здесь недостаточно. Неприязнь к рекламным письмам ещё не разрешает отвечать на них от имени пользователя. И наоборот, принятое правило может действовать только для конкретного отправителя и не описывать общее предпочтение.
Работа называет нужное свойство учётом согласования. Агент должен различать принятое и оставленное без ответа предложение, учитывать последующие изменения и применять договорённость только в заданных границах.
Как проверяли сохранность согласования
Для проверки собрали 160 сценариев о предпочтениях, делегировании задач и правилах взаимодействия. Из них составили 800 тестовых случаев с историями на 18 сеансов, растянутых на несколько месяцев. В парных примерах менялась только реакция пользователя, а предложение агента и последующая ситуация оставались одинаковыми.
Первая метрика проверяла чувствительность к принятию. Балл получала только пара, где агент выполнял принятое поручение, но запрашивал подтверждение для такого же предложения, оставленного без ответа. Так нельзя получить хороший результат, если всегда действовать или всегда перестраховываться.
Вторая метрика проверяла избирательность по контексту. Если пользователь разрешил действие только при заданном условии, агент должен был выполнить его внутри согласованных границ и запросить подтверждение за их пределами.
Эксперименты охватили модели семейств GPT, Qwen, Gemini и DeepSeek, а также Mem0, A-Mem, MemOS и LangMem. Исследователи отдельно смотрели, что система записала, что затем извлекла и как выбрала действие. Это позволило разделить ошибки записи, поиска и принятия решения.
Проверка проходила на синтетических контролируемых диалогах, а действия с инструментами имитировались. Такие условия хорошо изолируют момент согласования, но хуже отражают постепенное, неявное или противоречивое согласие в реальном разговоре.
В планы стоит добавить реестр договорённостей
Системы памяти могли хорошо отслеживать изменения знаний и предпочтений, но всё равно плохо отличали принятое поручение от предложения агента. Полная история диалога также не решала проблему: модель видела реакцию пользователя, однако не всегда использовала её при выборе действия. Дополнительная память иногда даже усиливала ошибку, потому что лучше сохраняла неподтверждённое предложение.
Grounding Layer добавляет поверх существующей архитектуры отдельный реестр договорённостей. Для каждой записи он хранит происхождение, состояние согласования, область действия, изменения и фрагмент диалога, который это подтверждает. Перед значимым вызовом инструмента слой проверяет разрешение и при необходимости обращается к исходной истории.
На связке Qwen и LangMem чувствительность к принятию выросла с 21% до 51%. Доля действий без разрешения одновременно снизилась с 44% до 8%. Модель и саму систему памяти при этом не меняли и не переобучали.
Для продуктовой архитектуры из этого следует практическое разделение. Профиль пользователя может по-прежнему хранить факты и предпочтения, но поручения лучше вести как записи с явным статусом, источником и областью действия. Перед отправкой сообщения, оплатой или изменением расписания нужен отдельный шлюз, который проверяет эту запись, а не просто доверяет найденному фрагменту памяти.
Grounding Layer пока не доказывает готовность подхода к эксплуатации: правила проверки заданы заранее, а реальные разговоры часто выражают согласие косвенно. Но работа показывает, где менять систему уже сейчас. Увеличивать объём памяти без модели полномочий рискованно, потому что агент начинает увереннее исполнять не только поручения пользователя, но и собственные старые предложения.
Источники
Иллюстрация: рисунок из статьи «Knowing the User Is Not Knowing What We Established: Grounding Awareness in Personal Agents», Jiajun Chen, Xinyue Chen, Yicheng Jiang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
