LLM-судьи находят симптом сбоя агента, а не его причину

Первая заметная ошибка в журнале LLM-агента часто оказывается симптомом, а не шагом, после которого задача была потеряна. В нерецензированном препринте Bingyu Shen и коллег, где все числа получены самими авторами, в 66% отмеченных судьями мест вероятность успеха не снижалась. Поэтому контроллеру опасно назначать перезапуск по метке модели-оценщика.

Вместо чтения журнала исследователи восстанавливали состояние среды после каждого шага и многократно продолжали работу агента с новыми случайными вариантами ответа. Так они вычисляли ценность префикса — вероятность завершить задачу из конкретного состояния с оставшимся бюджетом. Последовательность таких оценок образует кривую, на которой видны падение шансов и точка невозврата.

Четыре модели-оценщика размечали «первую ошибку» по правилам Traverse. Лишь 7 из 188 ответов указали решающий шаг. Метки могли появляться и раньше реальной потери шансов, и после неё: оценщик видит неудачный тест или неверную правку, но не всегда замечает более раннее решение, которое привело к сбою.

Перезапуск в точке, найденной по кривой, повысил ожидаемую долю успехов на 13 процентных пунктов — с 44 до 57%. Проверка настоящими перезапусками сохранила преимущество, тогда как перезапуск по судейской метке результата не улучшил. Для систем управления агентами это меняет критерий качества: локализатор стоит оценивать по тому, сколько вероятности успеха он сохраняет, а не по совпадению с чужой разметкой.

Метод проверяли на подмножестве из 150 задач SWE-bench Verified, двух замороженных политиках одной семьи и общей агентской обвязке. Кривые построили для 47 и 60 неудачных запусков. Вывод относится к программным агентам, конкретному бюджету шагов и этим политикам; кроме того, полная кривая для первой политики требовала в среднем 331 продолжение, поэтому пока это скорее эталон для проверки более дешёвых локализаторов, чем готовый механизм для каждого запуска.

Источники

• Executable Prefix Values for Locating Agent Failures