Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агентные бенчмарки могут перестать различать лучшие модели задолго до того, как те решат все задачи. Хотя препринт Lenovo Group, Marquette University и Cornell University не рецензирован и числа получили сами авторы, в повторном запуске Terminal-Bench одинаковые по зачёту модели разошлись по качеству более чем в десять раз. Поэтому новый набор сложных задач не всегда исправляет рейтинг: иногда нужно менять саму шкалу.
Большинство бенчмарков сводит запуск к одному биту: агент либо прошёл проверку, либо нет. Такая оценка слишком груба для близких результатов и ничего не говорит о решении, которое превзошло эталон. В SWE-bench Verified разрыв между соседями в первой десятке оказался меньше ошибок тестов, а исправление ошибочных зачётов меняло порядок примерно так же, как случайное удаление шестой части успешных решений.
На ALE-Bench двоичная проверка относительно результата среднего участника объединила первую десятку в одну неразличимую группу, хотя почти половина запусков превзошла этот ориентир. Исходная непрерывная оценка разделяла ту же десятку на три группы. Простое повышение проходного порога проблему не решило: оно различало новые модели, но обнуляло большинство более ранних.
Работу проверяли на выпущенных результатах восьми бенчмарков для программирования, анализа данных и инженерных задач, а также на небольшом повторном запуске Terminal-Bench. На одной задаче три модели получили одинаковый зачёт, но медианное ускорение составило 10,9 раза у одной и 1,3 раза у двух других. Среди лидеров Terminal-Bench медианный расход токенов различался в 7,3 раза.
Вместо единственного порога предложена составная оценка. Сначала жёсткая проверка отсеивает недопустимые решения, затем непрерывная шкала показывает, насколько результат лучше базового и эталонного, а стоимость выводится отдельно. Эталонные значения фиксируются вместе с датой, чтобы версии можно было сравнивать. Такой подход не отменяет сложные задачи, но позволяет дольше использовать уже созданный набор и не принимать статистический шум за рейтинг.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
