Журнал · Rit.work

SkillPlumber правит навыки агента по покрытию инструкций

SkillPlumber выясняет, какую инструкцию агент выполнил, пропустил или не использовал, и направляет правки навыка по результатам каждого запуска.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Агента научили исправлять не весь текстовый навык после неудачи, а конкретные инструкции: неверные, пропущенные или не задействованные в этом запуске. Команда Mohamed bin Zayed University of Artificial Intelligence и University of Liverpool представила SkillPlumber, который обошёл сильнейший метод сравнения на 8,7–14,0 процентного пункта, хотя работа не рецензирована и числа получили сами авторы. Такой подход позволяет отлаживать поведение без переобучения модели, но требует дополнительных вычислений.

SkillPlumber сопоставляет каждую инструкцию с трассой запуска и присваивает одну из трёх меток: агент выполнил её, не выполнил либо не попал в ситуацию, где она нужна. Это разделяет два похожих снаружи сбоя: инструкция могла быть ошибочной, а могла быть правильной, но агент её проигнорировал.

Отдельный агент ищет первопричину: проверяет, не привела ли выполненная инструкция к ошибке, стоит ли усилить пропущенную и нужна ли незадействованная. Затем он меняет навык, записывает ожидаемый эффект и проверяет правку новым запуском. Если гипотеза не сработала, следующая итерация может отменить изменение; удачные приёмы диагностики попадают в общую библиотеку.

Если убрать покрытие инструкций, SkillPlumber восстанавливает на 20,8% меньше исходных сбоев на SkillsBench с GPT-5.5. Разбор правок также показал, что покрытие направляет изменения к пропущенным инструкциям, почти не меняя долю правок уже выполненных пунктов.

Метод проверяли на SkillsBench, SkillLearnBench и SWE-Skills-Bench-Hard с GPT-5.5 в Codex, Opus 4.8 в Claude Code и DeepSeek-V4-Pro в OpenHands. Каждую версию навыка запускали заново на той же задаче, а результат оценивал детерминированный проверяющий модуль. Поэтому эксперимент измеряет ремонт навыка для повторного решения конкретной задачи, а не перенос на новые задачи. SkillPlumber тратил примерно вдвое больше токенов, чем методы сравнения, хотя расход на один исправленный сбой оставался сопоставимым; скрипты и другие ресурсы внутри навыка он не менял.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу