Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агента научили превращать обратную связь после выполнения задачи в навыки, которые пригодятся в других ситуациях. В препринте MetaExp, который не проходил рецензирование и содержит замеры самих авторов, прирост на AutomationBench оказался примерно вдвое выше, чем у исходной модели. Для агентных систем это переносит часть адаптации из повторного обучения модели во внешний банк навыков, который можно обновлять после внедрения.
Как семейства задач отделяют опыт от запоминания
Обычная последовательность независимых задач плохо учит переносить опыт. Модель видит, помогло ли конкретное действие, но не узнаёт, какая часть решения сохранит ценность при другой формулировке, новых данных или смене инструментов.
MetaExp собирает задачи в семьи с одним устойчивым фактором. Конкретные условия меняются так, чтобы готовый ответ нельзя было скопировать, но полезный принцип оставался прежним. Именно результат на следующих задачах показывает, удалось ли модели выделить этот принцип.
В семьях с общим инструментом сохраняются интерфейсы и поведение закрытого набора инструментов, а запросы и данные меняются. Так агент учится помнить соглашения об аргументах, особенности вызовов и рабочие комбинации инструментов.
В семьях с общим процессом сохраняется скрытая последовательность действий, но меняются предметная область, API, документация и данные. Модель не видит описание процесса напрямую и должна выделить более общий навык: например, сначала найти нужные записи, затем проверить условия и только после этого изменить данные.
Для каждой задачи система создаёт эталонное решение и исполняемые проверки. Пакет повторно запускают в чистой изолированной среде и оставляют только тогда, когда решение выполняется и проходит проверку. При сборе траекторий дополнительная модель разбирает лишь проваленные пункты, чтобы исправить возможные ложные отказы проверяющей программы.
Задачи внутри семьи идут от простых к сложным, а между ними подмешиваются задания из других семей. Такой шум заставляет агента выбирать подходящий навык, а не применять всё накопленное подряд. После обратной связи он может создать, переписать или удалить файл навыка.
Qwen3.5-122B-A10B дообучили на 4 956 траекториях из 1 000 синтетических семей. В обучающие примеры вошли как действия при решении, так и последующее обновление банка навыков. Сам банк из обучающих сред в проверку не переносили.
Накопленный опыт помог не на всех задачах одинаково
При проверке параметры модели заморозили, а банк навыков сначала очистили. Агент последовательно решал адаптационные задачи, сохранял извлечённый опыт и затем применял его к отдельному целевому набору. Это отделяет способность учиться после внедрения от исходного умения решать задачу без опыта.
На SpreadsheetBench результат MetaExp вырос на 8,5 пункта, тогда как исходная Qwen3.5 при том же протоколе потеряла 2,2 пункта. На APEX-Agents прирост достигал 2,3 пункта, а на AutomationBench составил 14,8 пункта. После удаления из обучающего корпуса близких к SpreadsheetBench областей модель всё равно прибавила 9,3 пункта.
MetaExp не стала безусловно лучшим решателем. В некоторых начальных замерах она уступала исходной Qwen3.5, а GLM-5.2 сохраняла более высокий абсолютный результат. Работа измеряет другое свойство: улучшается ли агент по мере накопления внешнего опыта.
Проверка охватывает одну дообученную модель, синтетические семейства и рабочие задачи из SpreadsheetBench, APEX-Agents и AutomationBench. Поэтому результат подтверждает конкретный способ обучения переносу опыта, но не заменяет испытания на процессах и инструментах будущего продукта.
Командам придётся менять не модель, а контур обучения
MetaExp не требует обновлять параметры после каждой новой задачи. Агент хранит опыт отдельно и может улучшать его по обратной связи, поэтому развернутую модель не нужно регулярно дообучать на журнале действий. Это подходит системам, где задачи повторяют общий процесс, но отличаются данными, формулировками и доступными API.
Главное изменение касается подготовки данных. Вместо набора независимых примеров команде нужны семейства задач с контролируемой общей структурой, исполняемые проверки и последовательности, в которых результат ранней задачи может помочь поздней. Без такого контура модель учится решать отдельные задания, а не выделять переносимый опыт.
Банк навыков также становится частью архитектуры продукта. Нужно хранить версии навыков, связывать их с обратной связью и проверять, когда их следует применять. В разделе APEX-Agents для investment banking накопление опыта ухудшило результат: отдельные навыки обобщались слишком широко и мешали правильным решениям.
Работа не даёт основания менять уже выбранную базовую модель только ради MetaExp. Она предлагает иной план для агентной платформы: заранее обучить модель работать с опытом, а после запуска адаптировать систему через проверяемые внешние навыки. Практическая ценность подхода будет зависеть от того, можно ли для целевого процесса построить надёжную проверку результата и связанные семейства задач.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
