Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Попытка сделать терминального ИИ-агента дешевле обернулась лишними проверками уже правильной работы. В нерецензированном препринте Naman Vats, где все числа получил сам автор, контроллер Jev 1.13 увеличил расходы на попытку на 19% при той же доле успеха — 73%. Для продуктовой команды вывод практический: точность отдельных решений ещё не означает, что весь агент станет экономнее.
Автор зафиксировал цикл агента на Claude Sonnet 5.5 и менял только способ управления. В контрольных точках система решала, продолжать ли работу, проверить результат, сменить подход или остановиться. Jev сравнили с агентом без контроллера, жёсткими правилами, Claude Haiku 5.5 и плацебо, которое случайно воспроизводило прежнюю частоту решений Jev.
Сам вызов Jev стоил мало, но его советы удлиняли работу основного агента. Контроллер хорошо ранжировал запросы на завершение: чаще распознавал, какие попытки действительно закончатся успехом. Однако он оценивал среднюю вероятность готовности в 50%, хотя успешно завершались 87% таких попыток, поэтому слишком часто требовал дополнительную проверку. Ни один контроллер не предложил досрочно прекратить безнадёжную попытку — единственное действие, которое могло напрямую сэкономить деньги, не использовалось.
Проверка охватила 21 отложенную задачу Terminal-Bench 2.1 и 315 запусков пяти вариантов системы. Jev оказался дороже плацебо на 22%, а рост расходов относительно агента без контроллера проявился на 15 задачах из 21. При этом набор включал преимущественно лёгкие задачи, а сравнение доли успеха получилось менее точным, чем сравнение стоимости.
Контроллер стоит оценивать не по тому, насколько верно он судит о состоянии агента, а по последствиям его команд. Для рабочего контура нужны пороги, которые учитывают обычную долю успешных завершений, и отдельный сквозной тест расходов: полезный сигнал может стать дорогим советом, если система реагирует на него лишним действием.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
