Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Расход GPU у агентов для программирования снизили без потери доли задач, для которых тесты приняли исправление. В работе AMD Singapore и NTU Singapore, которая не прошла рецензирование и содержит замеры самих авторов, каскад малой и большой моделей сократил затраты на 16,4%. Такой подход подходит прежде всего для фоновых задач, где стоимость важнее немедленного ответа.
Как время выполнения стало сигналом сложности
Обычный агент отправляет все задачи одной крупной модели. Каскад сначала запускает GLM-4.7-Flash, а после неудачи или тайм-аута начинает задачу заново на GLM-4.7. Если малая модель успевает подготовить исправление, которое проходит тесты, второй запуск не нужен.
Тайм-аут здесь работает не только как защита от зависшего процесса. Он косвенно показывает сложность задачи: посильные исправления малая модель чаще завершает в отведённое время, а на остальных исчерпывает бюджет и передаёт работу большой модели. Для этого не нужно обучать отдельный классификатор, размечать рабочие запросы или поддерживать ещё один сервис.
Сначала проверили 36 моделей с открытыми весами на всех 500 задачах SWE-bench Verified. Каждая модель работала внутри одного и того же каркаса mini-swe-agent: могла изучать репозиторий, менять файлы, запускать команды и тесты. Задача считалась решённой, только если итоговый патч проходил заданные проверочные тесты; предельное время одного запуска составляло два часа.
Стоимость считали в GPU-часах: продолжительность запуска умножали на число выделенных AMD Instinct MI300X. Это аппаратная метрика, а не счёт облачного API, поэтому денежный эффект будет зависеть от загрузки ускорителей, пакетной обработки и выбранного поставщика.
Гибридные схемы не запускали как отдельную производственную систему. Их смоделировали по сохранённым результатам одиночных прогонов малой и большой моделей. Проверка охватывает один бенчмарк, один каркас агента и одну основную пару моделей; каждую пару «модель — задача» запускали только один раз.
Тайм-аут почти догнал маршрутизатор сложности
На простых задачах каскад снизил расход GPU до 33%, потому что многие исправления завершались на первой ступени. На всём наборе он сохранил долю решений большой модели, хотя часть неудачных задач пришлось выполнять дважды.
Для сравнения построили маршрутизатор, который заранее знал человеческую оценку сложности и сразу отправлял трудные задачи большой модели. Он сократил расход на 17,9%, то есть дал лишь небольшой дополнительный выигрыш относительно каскада. Причина в составе SWE-bench Verified: простые и средние задачи образуют 91% набора, поэтому возможность сначала попробовать дешёвую модель уже приносит почти весь доступный эффект.
GLM-4.7-Flash достигла 81% результата GLM-4.7 на простых задачах и 53% на средних. На трудных задачах разрыв оставался заметным. Малая модель поэтому подходит не как полная замена, а как первая ступень перед более дорогой.
Обе гибридные схемы даже немного превысили результат запуска только большой модели. В некоторых разобранных случаях GLM-4.7 усложняла исправление и ломала тесты, тогда как GLM-4.7-Flash вносила более локальную правку. Считать это устойчивым преимуществом пока нельзя: одиночные прогоны не отделяют различие моделей от случайности генерации.
Когда каскад стоит включить в план разработки
Работа меняет план команд, которые самостоятельно размещают модели и запускают агентов асинхронно: для исправления тестов, локальных ошибок и небольших задач из очереди. В такой системе сначала стоит проверить простой каскад, а уже затем решать, окупятся ли обучение и эксплуатация маршрутизатора.
Перед внедрением нужно измерить собственное распределение задач. Каскад экономит ресурсы, когда малая модель решает заметную часть потока и требует существенно меньше ускорителей. Если почти все запросы сложные, первая ступень добавит бесполезный прогон перед неизбежным обращением к большой модели.
Тайм-аут становится параметром между стоимостью и временем ответа. Длинный интервал даёт малой модели больше шансов закончить работу, но задерживает задачи, которые всё равно придётся перезапустить. Короткий интервал быстрее передаёт их большой модели, однако сокращает экономию.
Для интерактивного помощника последовательный повтор может быть заметнее снижения аппаратных затрат: пользователь ждёт оба запуска. Для фонового агента задержка переносится легче, поскольку результат всё равно проверяют позже. Поэтому каскад следует оценивать сразу по трём показателям: доле принятых исправлений, GPU-часам на задачу и полному времени до результата.
Практический вывод не в том, что маршрутизаторы больше не нужны. Тайм-аут задаёт дешёвую исходную точку, которую более сложная схема должна превзойти на реальном потоке задач. Если она экономит лишь немного больше, расходы на разметку, настройку и поддержку могут оказаться выше дополнительного выигрыша.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



