Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
ExpertCrowd-SWE показал, как автономные агенты справляются с полноценными изменениями в незнакомых кодовых базах, а не с изолированными исправлениями. Хотя препринт не рецензирован и числа получили сами авторы, Claude Opus 5.5 набрал 67,3%, а GPT-6 Astra — 63,7%; разница между ними находится в пределах погрешности. Для выбора агента одного места в таблице мало: модели по-разному ведут себя на отдельных задачах и требуют разного числа шагов.
Инженеры написали для ExpertCrowd-SWE 100 новых заданий по реальным проектам. Каждое начинается с короткой заявки на изменение, привязанной к конкретной версии репозитория, а эталонное решение в среднем меняет 471 строку в нескольких файлах. Решения не публиковали ранее, поэтому модель не могла просто воспроизвести готовый патч из обучающих данных.
Проверяющая программа начисляет баллы за отдельные свойства решения. Обязательный критерий ограничивает итоговый балл, если агент пропустил существенную часть задачи, а жёсткое условие обнуляет результат, например когда агент меняет исходные тесты проекта. Эталонный патч обязан получить полный балл, а нетронутый репозиторий и правка одного комментария — ноль. Дополнительные контрольные патчи проверяют, отличает ли программа корректную альтернативу от ленивого решения и попытки обойти проверку.
Семь моделей разделили 35 процентных пунктов, но общий балл скрывает разные причины ошибок. В задании для Asynq Claude Opus 5.5 и Grok 4.6 получили ноль во всех запусках из-за нарушения жёсткого условия, тогда как DeepSeek V4.1 Flash набрал 75,6%. Такие случаи показывают, почему обычного прохождения тестов недостаточно: агент может реализовать часть функции, но оставить изменение, которое сопровождающий проекта отказался бы принимать.
Каждую модель запускали по пять раз в автономной среде без сети, с одинаковыми заданиями, бюджетом и исходной подсказкой. При этом модели использовали собственные интерфейсы инструментов поставщиков, поэтому часть разницы может зависеть от них. Бенчмарк измеряет работу агента внутри репозитория, а не качество готового продукта для разработки; 76 заданий оставили закрытыми, чтобы снизить риск попадания решений в обучение.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
