FDE-Bench проверил агентов на неполных бизнес-требованиях

FDE-Bench проверяет, могут ли ИИ-агенты довести неполный запрос заказчика до принятого результата: уточнить скрытые правила, собрать решение и доработать его. В препринте, который не проходил рецензирование и содержит замеры самих авторов, лучшая конфигурация набрала 0,551 при эталоне 1,0, а доля прогонов, достигших эталона, составила 6,12%. Такой разрыв пока не позволяет рассчитывать на автономное выполнение проекта от запроса до приёмки.

В бенчмарк вошли 49 обезличенных задач из реальных проектов по комбинаторной оптимизации и машинному обучению. Агент получал исходный запрос и данные, задавал вопросы смоделированному заказчику, запускал своё решение и исправлял его. Результат сравнивали с работой инженера, который внедрял систему у заказчика и уже прошёл приёмку; этот эталон отражает достигнутый проектный уровень, а не теоретический оптимум.

Проверка охватила 18 сочетаний моделей и программных оболочек. Чем полнее агент выявлял требования, тем выше обычно оказывалось качество результата. Но даже полный файл с бизнес-правилами не позволил ни одной из сравниваемых конфигураций в среднем достичь эталона: проблема остаётся и в уточнении задачи, и в реализации решения.

Правильный вопрос также не гарантировал соблюдения ответа. В задаче о пополнении запасов агент уточнил, нужно ли сначала использовать товар со склада, но затем заказал его у поставщика при остатке 327 единиц. Скрытая проверка поставила прогону ноль.

Сценарии охватывают производство, логистику, энергетику, розницу, финансы и инженерные задачи. Заказчика имитировала GLM-5.3, требования не менялись по ходу работы, а скрытый проверяющий не давал обратной связи до отправки результата. Поэтому FDE-Bench задаёт ориентир для проектов с фиксированными данными и правилами, но не проверяет работу с живым заказчиком или меняющимися условиями.

Источники

• FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests