Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Преимущество нескольких взаимодействующих LLM исчезает, если одиночной модели дать столько же попыток или вычислительного бюджета. В препринте, который не прошёл рецензирование и содержит собственные замеры автора, многоагентные схемы в среднем уступили сопоставимым базовым решениям на 4,2 процентного пункта. Для продукта это меняет порядок проверки: сначала стоит усилить одиночный запуск повторными ответами и более долгим рассуждением, а уже затем оплачивать координацию агентов.
Обычное сравнение ставит многоагентную систему против одного прохода модели, который каждый раз выбирает наиболее вероятное продолжение. Но несколько агентов делают больше вызовов, генерируют больше токенов и получают несколько вариантов ответа. Такой тест смешивает пользу общения между агентами с пользой дополнительного вычислительного бюджета.
Работа предлагает сравнивать системы по одной схеме: учитывать токены рассуждения и их общий объём, денежную стоимость, задержку, число полученных ответов и служебную обвязку. Базовый вариант нужно усиливать ступенчато: от одного прохода к нескольким независимым ответам, затем к равному бюджету и, наконец, к сравнению качества при разных уровнях затрат.
Автор свёл девять эмпирических работ с 516 уникальными конфигурациями на задачах рассуждения и работы агентов. В сопоставимых тестах многоагентная система показала результат не выше базового в 74% из 474 сравнений. Это синтез разных исследований, а не единый эксперимент: способы уравнивать ресурсы и наборы задач между работами различались.
Практический критерий для прототипа становится строже: многоагентная архитектура должна обойти не один дешёвый вызов, а одиночную модель с тем же числом попыток или тем же бюджетом. Координацию имеет смысл отдельно проверять там, где агенты получают разные части данных, используют внешнюю проверку или работают на моделях с разными ошибками. Если всем доступен один контекст, дополнительные сообщения сами по себе не добавляют информации.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



