Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Опыт ИИ-агента научились переносить из внешней памяти в веса модели, не удаляя записи сразу после обучения. ENGRAM сократил доступный для поиска объём памяти на 55,2% при разнице в качестве в пределах погрешности; работа пока не прошла рецензирование, а числа получили сами авторы. Для агентных систем это превращает очистку памяти из побочного шага обучения в отдельную проверяемую процедуру.
Обучение и очистка памяти принимают разные решения
Ruiyi Yang и коллеги из University of New South Wales и The Hong Kong University of Science and Technology предложили хранить опыт в Engram Trace Graph, или ETG. Граф связывает навык с задачей, результатом, источником и последовательностью действий агента.
ENGRAM сначала решает, годится ли навык для обучения. В обычной схеме агент может учиться только на том, что уже частично освоил. Из-за этого полезный пример от более сильной модели не попадёт в обучение, если сам агент пока проваливает соответствующее действие.
В ENGRAM навык проходит входной фильтр двумя путями: агент либо показывает достаточное владение им, либо получает достаточно успешных демонстраций учителя. Второй путь позволяет обучать ещё не освоенные действия. При этом успешная демонстрация не повышает оценку навыка самого агента: она лишь даёт материал для обучения.
Из прошедших фильтр трасс собирают корректные пары «состояние — действие» и обучают LoRA-адаптер. Это компактная добавка к весам исходной модели, которую можно включать отдельно. Часть примеров заранее откладывают для проверки, поэтому модель не подтверждает обучение на тех же шагах, которые использовала при настройке.
Дополнительный индикатор фиксирует, участвовал ли навык в обучении фактически. Если после фильтрации для него не осталось пригодных примеров, ENGRAM не разрешит убрать связанные записи из рабочей памяти.
Готовность к выпуску проверяют без подсказок из памяти
После обучения ENGRAM сравнивает две конфигурации на отложенных шагах. Новая модель отвечает без поиска по эпизодической памяти, а исходная модель получает сохранённые примеры. Формат задачи, наблюдения и интерфейс действий остаются одинаковыми, чтобы результат не зависел от разных подсказок.
Для выпуска навык должен пройти две проверки. Новая конфигурация не должна отстать от исходной больше заданного допуска и одновременно должна превысить абсолютный порог качества. Первый критерий защищает от потери уже доступного поведения, второй не позволяет выпустить навык лишь потому, что обе конфигурации справились плохо.
Решение принимают отдельно по каждому навыку. Прошедший проверку навык использует одобренный адаптер без поиска по соответствующим записям. Для остальных ENGRAM сохраняет внешнюю поддержку; отдельная проверка может разрешить применять новый адаптер вместе с памятью, но сама по себе не разрешает очистку.
В контрольном опыте на HotpotQA после проверки для поиска оставили 269 записей. Качество по F1 — сводной метрике точности и полноты ответа — составило 70,9 против 71,1 при сохранении всей памяти. Немедленная очистка после обучения снизила результат до 66,8, то есть сам факт настройки весов ещё не подтверждает, что сохранённые примеры больше не нужны.
Отложенные проверки оценивают отдельные действия или ответы, а не гарантируют успех полного прохождения задачи. В последовательной среде несколько действий могут быть допустимыми, а ранняя ошибка меняет все последующие состояния. Поэтому в работе отдельно измеряли полные запуски агента.
Командам понадобится контур проверки, а не новая базовая модель
Работа меняет планы команд, которые одновременно дообучают агента на накопленных трассах и используют поиск по ним во время работы. Удалять запись сразу после попадания в обучающий набор рискованно: пример мог не дать корректной обучающей пары, а адаптер мог усвоить навык лишь частично.
Практическая схема требует размечать опыт по навыкам и источникам, сохранять происхождение каждой трассы, выделять непересекающиеся проверочные примеры и маршрутизировать запросы к нужному адаптеру. Без такой структуры команда сможет оценить модель целиком, но не поймёт, для какого навыка внешняя память уже стала лишней.
ENGRAM проверяли на Qwen3-8B и Llama-3.1-8B-Instruct: в интерактивных средах Crafter, ALFWorld и WebShop, а также на HotpotQA, WebQuestions и FinQA. Это охватывает последовательные действия и ответы на вопросы, но механизм выпуска подтверждён на заранее выделенных проверочных состояниях в рамках той же системы навыков.
Очистка здесь означает только исключение записей из рабочего поиска. Они остаются в архиве, а сведения, перенесённые в веса, не исчезают вместе с исходной трассой. Поэтому ENGRAM может сократить объём контекста и число обращений к памяти, но не заменяет правила хранения чувствительных данных и проверки безопасности.
Источники
Иллюстрация: рисунок из статьи «ENGRAM: From Agent Experience to Weights through Verified Consolidation», Ruiyi Yang, Zechen Li, Lihuan Li и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
