Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Компактную Qwen3.5-9B научили улучшать агентную систему не только новой обвязкой, но и выбором подходящей версии самой модели. На TraceElephant получившийся агент обошёл DeepSeek-V4-Pro на 14,16 процентного пункта; поскольку препринт не рецензирован, все числа получили сами авторы. Для разработки это означает, что код обвязки, снимки весов и результаты запусков стоит хранить как связанные версии.
Последняя версия модели подходит не каждой обвязке
Агент состоит из модели и обвязки: системных инструкций, инструментов, памяти, форматов вызова и порядка выполнения шагов. Если менять эти части независимо, возникает рассогласование. Обвязка требует поведения, которому модель не обучалась, либо мешает использовать уже освоенную возможность.
Простой случай — формат инструментов. Модель выдаёт вызов в XML, а новая обвязка принимает JSON. Решение задачи может быть верным по смыслу, но выполнение остановится на проверке интерфейса.
Более сложный случай возникает при изменении процесса. Например, обвязка получает инструмент для очистки, свёртки и сохранения контекста. Последняя версия модели может плохо им пользоваться, хотя один из прежних снимков весов уже обучался похожему поведению.
Поэтому линейная схема «новая обвязка — последняя модель — дообучение» теряет полезные ветви разработки. CoEvo-RSI рассматривает историю как набор кандидатов: старая модель может лучше работать с новой обвязкой, а прежний вариант обвязки — дать более подходящую основу для следующего изменения.
Как архив связывает обвязки и снимки весов
CoEvo-RSI хранит обвязки, снимки весов, их происхождение и результаты выполнения в общем архиве. В начале очередного цикла управляющий агент разбирает ошибки текущей пары и извлекает из архива подходящие решения.
Несколько редакторов независимо выбирают историческую обвязку и меняют её под найденные проблемы. Для каждого нового варианта система подбирает снимок весов из архива или объединяет несколько снимков. Кандидатные пары сначала проверяют без дополнительного обучения, чтобы отделить совместимость компонентов от эффекта следующего дообучения.
Лучшая пара генерирует собственные траектории выполнения. Система оставляет только принятые проверяющим механизмом примеры и обучает на них модель с учителем, не меняя выбранную обвязку. После проверки в следующую итерацию проходит текущая пара, унаследованная пара без обучения либо её дообученная версия. Неудачные варианты тоже остаются в архиве и могут объяснить последующие решения.
Для диагностики авторы ввели долю ходов с нарушением интерфейса. Ошибкой считается вызов недоступного инструмента, нарушение контракта или неправильно сформированный ответ; ход учитывают даже тогда, когда агент позже восстановился. Метрика дёшева в проверке, но не заменяет оценку самой задачи: вариант, где меняли только модель, почти не ошибался в интерфейсе, однако точность отдельных шагов не превышала 35%.
На HomeBench VM CoEvo-RSI обошёл GLM-5.3 по доле успешно выполненных инструкций на 4,90 процентного пункта. Проверка охватывала три предметные области: поиск виновного агента в длинной цепочке действий, генерацию SQL с учётом прав доступа и управление устройствами умного дома. Сравнивали совместную эволюцию с изменением только обвязки, обучением только модели и наследованием лишь последней версии.
Результаты относятся к отложенным задачам из тех же предметных областей. Работа показывает, как усиливать компактного специализированного агента, но не проверяет перенос полученной пары на несвязанные классы задач.
Когда подход меняет план разработки
Работа меняет планы команд, которые контролируют веса модели и регулярно переделывают инструменты, память или порядок действий агента. В такой системе снимок весов становится версионируемым компонентом архитектуры, а не последним обязательным звеном конвейера.
- Версионировать пары. Для каждого запуска нужно сохранять не только код обвязки и итоговую оценку, но и точный снимок весов, обучающие траектории и происхождение компонентов.
- Проверять старые модели до обучения. Несколько архивных снимков стоит прогнать с новой обвязкой на отложенном наборе. Это дешевле, чем сразу обучать последнюю версию, и позволяет найти совместимость, которую линейная история скрывает.
- Разделять интерфейс и качество задачи. Доля нарушений показывает, понимает ли модель доступные действия. Продвигать версию следует по основной метрике продукта, иначе система научится соблюдать формат без улучшения результата.
- Хранить неудачные ветви. Плохая пара не означает, что оба её компонента бесполезны. Снимок весов может снова стать лучшим после следующего изменения обвязки.
Если команда вызывает закрытую модель только через API и не может сохранять, объединять или дообучать её снимки, CoEvo-RSI целиком не переносится. Из работы всё равно применима более узкая практика: тестировать версии модели и обвязки как пары, а не считать их взаимозаменяемыми.
Источники
Иллюстрация: рисунок из статьи «CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow?», Jiaqi Su, Guibin Zhang, Jie-Jing Shao и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
