Обвязка кодового агента меняет цену сильнее, чем качество

Обвязка кодового агента влияет на расход токенов заметнее, чем на способность исправлять код. В препринте Shandong University, который не проходил рецензирование и где все числа получили сами авторы, расчётная стоимость одной задачи при той же модели различалась до трёх раз. При выборе стека расходы стоит проверять отдельно: место агента в рейтинге их не показывает.

Обвязка (harness) объединяет системную инструкцию, доступные инструменты и правила управления контекстом. Авторы запускали одни и те же модели через Claude Code, mini-SWE-agent и OpenCode на SWE-bench Verified, фиксировали версии и повторяли одинаковые запуски, чтобы отделить эффект обвязки от случайного разброса.

На большом наборе Claude Code и mini-SWE-agent оказались эквивалентны в пределах пяти процентных пунктов. На трудных задачах смена обвязки меняла ответы примерно так же часто, как повторный запуск без каких-либо изменений. Устойчивый проигрыш обнаружился у OpenCode: отставание доходило до девяти процентных пунктов, причём заметную часть задач агент терял из-за ограничения длины вывода.

Разницу в расходах создавал прежде всего текст, который обвязка отправляла модели на каждом шаге. Длинная системная инструкция и описания инструментов попадали уже в первый запрос, затем повторялись вместе с растущей историей. Поэтому небольшая обвязка могла обходиться дешевле функционально насыщенной, не уступая ей по доле решённых задач.

Проверка охватывала один бенчмарк: трудную выборку из 45 задач запускали на нескольких моделях, а основной набор из 447 задач — на двух моделях Qwen. Claude Opus 5 работала только внутри Claude Code, поэтому сравнение трёх обвязок не распространяется на неё. Для продуктовой команды вывод уже практичен: обновление модели и замену обвязки нужно оценивать раздельно, а к замеру качества добавлять повторный запуск и расход токенов.

Источники

• What Does a Harness Buy? Tokens, Mostly