Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Разделение работы ИИ-агента на планирование и исполнение приносит пользу, только когда планировщик видит задачу и не отнимает у исполнителя весь запас токенов. В препринте Yukun Zhang, Kemu Xu и Yishen Chen, который не рецензировали и где числа получили сами авторы, доступ к описанию задачи повысил долю успешных решений примерно на 16 процентных пунктов. Для архитектуры агента это означает, что увеличение лимита само по себе не исправляет неудачно устроенный процесс.
Авторы сравнили прямое выполнение с двумя вариантами предварительного планирования. В первом планировщик изучал репозиторий, но не видел описание ошибки; во втором получал его, однако мог только читать файлы. Планирование и исполнение расходовали общий лимит, поэтому каждый токен на промежуточный план сокращал запас для правки и проверки кода.
Когда потолок подняли с 12 до 24 тысяч логических токенов, прямое выполнение сохранило результат 59,6%. Планирование без описания задачи улучшилось на 15 процентных пунктов: дополнительный запас помог исполнителю, но не сделал сам план точнее. При низком потолке почти половина таких запусков исчерпывала лимит, а после его удвоения — меньше 1%.
Доступ к описанию ошибки изменил отдачу от тех же вычислительных ресурсов. При меньшем лимите планирование всё ещё уступало прямому выполнению, но при большем обошло его на 29,6 процентного пункта. Значит, экономику работы агента нужно считать для процесса целиком: отдельный этап может координировать исполнение, а может потратить общий бюджет на рекомендации, которые не относятся к задаче.
Проверка охватила 40 отобранных задач SWE-bench Verified, причём 35 относились к Django. Агенты работали с двумя серверными моделями, создавали патчи в изолированных средах, а результат определяли внешние исполняемые тесты. Выводы относятся к таким задачам, фиксированным схемам работы и двум заданным потолкам токенов; другие способы планирования могут распределять ресурсы иначе.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
