Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агента научили исправлять не весь текстовый навык после неудачи, а конкретные инструкции: неверные, пропущенные или не задействованные в этом запуске. Команда Mohamed bin Zayed University of Artificial Intelligence и University of Liverpool представила SkillPlumber, который обошёл сильнейший метод сравнения на 8,7–14,0 процентного пункта, хотя работа не рецензирована и числа получили сами авторы. Такой подход позволяет отлаживать поведение без переобучения модели, но требует дополнительных вычислений.
SkillPlumber сопоставляет каждую инструкцию с трассой запуска и присваивает одну из трёх меток: агент выполнил её, не выполнил либо не попал в ситуацию, где она нужна. Это разделяет два похожих снаружи сбоя: инструкция могла быть ошибочной, а могла быть правильной, но агент её проигнорировал.
Отдельный агент ищет первопричину: проверяет, не привела ли выполненная инструкция к ошибке, стоит ли усилить пропущенную и нужна ли незадействованная. Затем он меняет навык, записывает ожидаемый эффект и проверяет правку новым запуском. Если гипотеза не сработала, следующая итерация может отменить изменение; удачные приёмы диагностики попадают в общую библиотеку.
Если убрать покрытие инструкций, SkillPlumber восстанавливает на 20,8% меньше исходных сбоев на SkillsBench с GPT-5.5. Разбор правок также показал, что покрытие направляет изменения к пропущенным инструкциям, почти не меняя долю правок уже выполненных пунктов.
Метод проверяли на SkillsBench, SkillLearnBench и SWE-Skills-Bench-Hard с GPT-5.5 в Codex, Opus 4.8 в Claude Code и DeepSeek-V4-Pro в OpenHands. Каждую версию навыка запускали заново на той же задаче, а результат оценивал детерминированный проверяющий модуль. Поэтому эксперимент измеряет ремонт навыка для повторного решения конкретной задачи, а не перенос на новые задачи. SkillPlumber тратил примерно вдвое больше токенов, чем методы сравнения, хотя расход на один исправленный сбой оставался сопоставимым; скрипты и другие ресурсы внутри навыка он не менял.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



