Журнал · Rit.work

Много агентов не заменяют честный базовый тест

Сравнивать несколько взаимодействующих LLM с одним коротким запуском недостаточно: число ответов, токены, стоимость и задержка должны совпадать.

Rit.work
Студия разработки
17 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Преимущество нескольких взаимодействующих LLM исчезает, если одиночной модели дать столько же попыток или вычислительного бюджета. В препринте, который не прошёл рецензирование и содержит собственные замеры автора, многоагентные схемы в среднем уступили сопоставимым базовым решениям на 4,2 процентного пункта. Для продукта это меняет порядок проверки: сначала стоит усилить одиночный запуск повторными ответами и более долгим рассуждением, а уже затем оплачивать координацию агентов.

Обычное сравнение ставит многоагентную систему против одного прохода модели, который каждый раз выбирает наиболее вероятное продолжение. Но несколько агентов делают больше вызовов, генерируют больше токенов и получают несколько вариантов ответа. Такой тест смешивает пользу общения между агентами с пользой дополнительного вычислительного бюджета.

Работа предлагает сравнивать системы по одной схеме: учитывать токены рассуждения и их общий объём, денежную стоимость, задержку, число полученных ответов и служебную обвязку. Базовый вариант нужно усиливать ступенчато: от одного прохода к нескольким независимым ответам, затем к равному бюджету и, наконец, к сравнению качества при разных уровнях затрат.

Автор свёл девять эмпирических работ с 516 уникальными конфигурациями на задачах рассуждения и работы агентов. В сопоставимых тестах многоагентная система показала результат не выше базового в 74% из 474 сравнений. Это синтез разных исследований, а не единый эксперимент: способы уравнивать ресурсы и наборы задач между работами различались.

Практический критерий для прототипа становится строже: многоагентная архитектура должна обойти не один дешёвый вызов, а одиночную модель с тем же числом попыток или тем же бюджетом. Координацию имеет смысл отдельно проверять там, где агенты получают разные части данных, используют внешнюю проверку или работают на моделях с разными ошибками. Если всем доступен один контекст, дополнительные сообщения сами по себе не добавляют информации.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу