Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Навыки ИИ-агентов научились исправлять локально: правила остаются в текстовом документе, а повторяемые действия переходят в отдельный исполняемый код. В препринте Northeastern University и Alibaba, который не прошёл рецензирование и где все числа получили сами авторы, система PASE обошла все сравниваемые способы обновлять навыки только текстом. Для продуктовой команды это не повод менять базовую LLM, но аргумент хранить инструкции агента не одним длинным файлом.
Как текстовый навык превращают в пару из документа и программы
Навык здесь — внешний документ с предметными знаниями, стратегией решения и правилами работы. Модель получает его при выполнении задачи, поэтому команда может менять поведение агента без дообучения и замены параметров LLM.
В обычной схеме один документ описывает и общие принципы, и точный порядок действий. После нескольких исправлений в нём накапливаются частные условия, фрагменты команд и повторяющиеся инструкции. Новая правка может затронуть соседнее правило, хотя команда хотела исправить один шаг.
PASE оставляет в тексте стратегию и пояснения, а устойчивую последовательность операций переносит в связанную программу. Например, навык может объяснять, как выбрать способ обработки таблицы, а код — выполнять конкретные преобразования файла. Агент вызывает программу, получает результат и продолжает рассуждение с учётом этого результата.
Система обновляет такую пару по журналам работы агента. Она читает успешные попытки, чтобы найти повторяемые приёмы, и неудачные, чтобы определить причину сбоя. Нужные журналы, текущие навыки и прошлые заплатки загружаются по запросу, а не помещаются в контекст целиком.
Предложенная заплатка может создать навык, удалить его или исправить отдельные строки. Система сама выбирает, менять текст, программу или оба компонента. Код участвовал в 62,2% принятых обновлений: это показывает, что он служил рабочей частью навыка, а не приложением к инструкции.
После каждой заплатки агент решает задачи из отдельной проверочной выборки. Изменение принимают, только если результат улучшился; иначе система возвращает предыдущую версию. История отклонённых предложений остаётся доступной, чтобы агент не повторял ту же неудачную правку.
Где исполняемые навыки дали выигрыш
PASE проверяли на трёх моделях — Qwen3.6-27B, Qwen3.7-Plus и Gemma4-31B — и четырёх наборах задач: SpreadsheetBench, Domain-Spreadsheet, WikiTableQuestions и HiTab. Агенты изменяли таблицы через Python; задачи с вопросами по таблицам также преобразовали в формат электронных таблиц.
Сравнение включало работу без навыка, написанную человеком инструкцию, навык от LLM и системы Trace2Skill и EvoSkill, которые извлекают опыт из журналов выполнения. Базовую модель и шаблон запроса сохраняли одинаковыми, чтобы сравнивать именно способ представления и обновления навыка.
На SpreadsheetBench-Verified максимальный выигрыш PASE над лучшим конкурентом превысил 14 процентных пунктов. На задачах вне обучающего домена преимущество составило больше 3,4 пункта для Domain-Spreadsheet и 2,8 пункта для задач с вопросами по таблицам. В среднем PASE заняла первое место во всех сочетаниях моделей и наборов задач из основной таблицы.
Разбор отдельных компонентов поддерживает выбранную архитектуру: один исполняемый код работал лучше одного текстового документа, но их сочетание дало лучший общий результат. Без обновления программ качество снижалось, а загрузка всех журналов и навыков сразу работала хуже, чем чтение нужных фрагментов по запросу.
Границы проверки узкие и практические. Во всех опытах нужный навык сразу помещали в запрос, поэтому работа оценивает качество навыков, но не их поиск в растущем каталоге. Программу агент запускал по явному вызову, хотя при наличии командной оболочки он способен обойти подготовленный код и заново реализовать ту же операцию.
Меняет ли PASE планы продуктовой команды
Работа меняет планы там, где агент выполняет повторяемые операции и должен учиться на журналах своей работы. Вместо единого файла инструкций можно заранее разделить архитектуру: текст хранит стратегию, предметные пояснения и условия выбора, а программа — проверяемый порядок действий.
Такое разделение даёт локальную единицу изменения. Ошибка в преобразовании таблицы требует правки программы, а неверное правило выбора — текстового документа. Команде не приходится каждый раз переписывать весь навык и надеяться, что LLM одинаково истолкует изменившийся абзац.
Из PASE также следует полезный процесс обновления: собирать успешные и неудачные траектории, предлагать небольшую заплатку, проверять её на отдельном наборе задач и хранить историю отклонённых вариантов. Это ближе к сопровождению кода, чем к бесконечному редактированию системного запроса.
Менять стек моделей ради PASE не требуется: навыки развиваются снаружи, без изменения параметров LLM, а в опытах переносились между моделями разных семейств. Но работа пока подтверждает подход на операциях с таблицами. Она не показывает, как схема поведёт себя при большом каталоге навыков, где сначала нужно надёжно выбрать подходящий документ и программу.
Для статичного агента с короткой инструкцией выгода будет ограниченной. Для системы, которая месяцами накапливает исключения и исправления, вывод практичнее: процедурную логику стоит выделять в исполняемый компонент до того, как текстовый навык превратится в трудно проверяемую смесь правил и команд.
Источники
Иллюстрация: рисунок из статьи «Program-Aided Patchable Skill Evolution», Jiahao Wang, Yuqi Xiong, Qing Yang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
