Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Проактивный ассистент с долгой памятью ошибается не столько в формулировке подсказки, сколько в поиске нужного эпизода и выборе момента, когда стоит вмешаться. Хотя препринт команды Meta, Michigan State University и University of Washington не рецензировали и все числа получили сами авторы, ProPerAgent довёл строгую точность Qwen3.8-27B после обучения с подкреплением до 42,4%. Для таких систем поиск по памяти придётся отделять от решения, стоит ли отвлекать пользователя.
Правильное воспоминание ещё не даёт правильного момента
В обычном ассистенте пользователь задаёт вопрос, а память помогает составить ответ. У проактивного агента вопроса нет: он наблюдает за происходящим, ищет связанный эпизод в истории и сам решает, оправдывает ли ситуация вмешательство.
Для проверки создали ProPerMem. Агент получает видео от первого лица и текстовую историю пользователя объёмом в среднем 618 тысяч токенов. Нужные для конкретной подсказки фрагменты занимают лишь 0,19% памяти, поэтому простое добавление всей истории в контекст не решает задачу.
Главная метрика засчитывает эпизод, только если агент произнёс одну обоснованную подсказку внутри заданного временного окна и молчал в остальные моменты. Правильный текст, сказанный раньше, позже или повторно, считается ошибкой: проактивный ответ расходует внимание пользователя.
Контрольный эксперимент разделил две причины ошибок. Когда GPT-5.3-Chat заранее давали правильное воспоминание в нужный момент, результат достигал 96%. Если модель сама выбирала время, он падал до 38%; если вместо готового свидетельства требовалось найти его в памяти — до 15,3%.
Разрыв показывает, почему стандартный поиск фрагментов перед генерацией здесь недостаточен. Релевантность отвечает на вопрос, связан ли эпизод с текущей сценой. Проактивному агенту нужен более строгий критерий: достаточно ли эта связь важна, чтобы прервать пользователя именно сейчас.
ProPerAgent разделяет поиск, вмешательство и ответ
ProPerAgent хранит прошлое как граф из эпизодических и обобщённых воспоминаний. Первые описывают отдельные события, например неудачный запуск кофеварки без кружки. Вторые фиксируют устойчивые сведения — например чувствительность пользователя к кофеину.
При поступлении новой сцены система проходит по графу и поднимает связанные фрагменты. Затем отдельный фильтр проверяет не только их соответствие происходящему, но и то, оправдывают ли они подсказку. Генератор получает уже отобранное свидетельство, а не набор приблизительно похожих записей.
Система также передаёт модели историю собственных ответов. Это позволяет отличить ещё одну возможность сказать полезное от повтора уже произнесённой подсказки. В разборе компонентов удаление этой истории нанесло системе больший ущерб, чем отказ от фильтра или замена графа обычным поиском.
Такая обвязка работает без изменения весов модели: строгая точность достигла 37,5% на Qwen3.8-27B и 38% на GPT-5.3-Chat. Дополнительное обучение с подкреплением настраивает поведение уже внутри обвязки — прежде всего сокращает слишком ранние и повторные вмешательства.
Архитектура важнее выбора конкретной LLM. Более сильный генератор способен хорошо сформулировать напоминание, но не исправляет сам по себе ошибки поиска и момента. Эти решения требуют собственной памяти, фильтра и состояния, где записано, что агент уже говорил.
Что заложить в планы проактивного продукта
Работа меняет план системы, если продукт должен сам предлагать помощь по истории пользователя. Вместо цепочки «найти похожее — передать в LLM» нужны как минимум три независимо проверяемых этапа: поиск свидетельства, решение о вмешательстве и генерация формулировки.
Приёмочные тесты тоже должны учитывать молчание. Набора сцен, где подсказка всегда нужна, недостаточно: он поощряет агента говорить чаще. Нужны эпизоды без основания для ответа, а также отдельный учёт ранних, поздних и повторных срабатываний.
Состояние агента должно хранить не только факты о пользователе, но и собственные действия. Без журнала вмешательств система может несколько раз достать одно воспоминание и каждый раз решить, что оно по-прежнему заслуживает реакции.
ProPerMem включает 1 804 пары из видео Ego4D и синтетических текстовых историй примерно за год. В каждом ролике задано одно окно для вмешательства; работу проверяли в пошаговом и потоковом режимах на Qwen3.8-27B и GPT-5.3-Chat, а перенос — на видео Epic-Kitchens.
Эти условия позволяют сравнить архитектурные решения, но не имитируют полностью рабочий продукт: личные истории синтетические, прошлое представлено текстом, а не мультимедийными записями. Работа оценивает качество решений, но не задержку, стоимость постоянной обработки видео и инфраструктуру хранения чувствительной памяти. Поэтому ProPerAgent даёт полезную схему прототипа, а не готовый профиль производительности.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
