Журнал · Rit.work

ИИ-агент стирает из своих инструкций самое ценное

Повторное переписывание экспертных инструкций без проверки результата сближает их с обычными ответами модели и снижает качество работы агента.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Экспертные инструкции для ИИ-агентов портятся, если модель раз за разом переписывает их без проверки на реальных задачах. В препринте Litao Guo и коллег, который не проходил рецензирование и содержит замеры самих авторов, после 30 переписываний доля успешно решённых задач снизилась в среднем на 14,6 процентного пункта. Поэтому автоматическое обновление таких инструкций нельзя считать безопасной заменой тестам.

Навыком в работе называют документ, где эксперт описывает порядок действий, инструменты и типичные ошибки. Модель получала исходный навык и его тему, искала недостатки и создавала новую версию; затем следующий цикл начинался уже с неё. Модели не показывали задачу, результат работы агента или оценку качества, а переписанный документ проверяла та же модель, которая его создала.

Переписывание постепенно приближало документ к тому, что модель написала бы сама, зная только тему. Авторы называют это собственным знанием модели по теме. Первым исчезало содержание, которого не было ни в одном из самостоятельно созданных вариантов: после 30 циклов сохранилось 23,1% таких фрагментов. Среди сведений, которые модель стабильно воспроизводила сама, осталось 84,2%.

Проверка охватила шесть моделей, включая Claude Haiku 5.5 и семейства Qwen, а также три набора задач: SkillsBench, LogicBench и MedCalc-Bench. Они покрывают многошаговую работу агента в программной среде, логические задачи и медицинские расчёты. Во всех сочетаниях модели и набора задач переписанные навыки работали хуже исходных; на двух наборах после 30 циклов они давали результат на уровне работы без навыка или ниже.

Чтобы сохранить редкие экспертные детали, авторы предложили SkillDiff. Метод сравнивает исходный документ с вариантами, которые модель пишет только по теме, отмечает отсутствующие в них фрагменты и просит агента перенести их в план без изменения текста навыка. На SkillsBench это повысило долю успешных решений на 4,8 процентного пункта относительно исходной инструкции. Практический вывод узкий: модель может редактировать навык, но принимать новую версию стоит только после прогона задач или автоматической проверки результата.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу