Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Оптимальный размер группы LLM для дебатов научились определять без запуска самих дебатов. В препринте Deakin University, который не прошёл рецензирование и приводит замеры авторов, выбранная так группа отстала от лучшего варианта полного перебора на 1,4 процентного пункта. При жёстком лимите контекста число агентов становится параметром, который нужно менять вместе с доступным окном.
Авторы рассматривают единое токенное окно: в него входят вопрос, ответы других агентов и собственное рассуждение модели. Каждый новый агент добавляет голос, но заставляет остальных читать ещё одно сообщение. Если после чтения остаётся слишком мало места для генерации, точность отдельного агента падает, а голосование начинает усиливать общий неверный ответ.
Чтобы найти лучший размер группы, сначала запускают одну модель с разными ограничениями на длину ответа. По этим запускам строят зависимость точности от оставшегося места и оценивают, насколько ошибки разных ответов совпадают. Затем расчёт сопоставляет пользу от дополнительных голосов с потерей места на рассуждение. Для калибровки потребовалось от 26 до 79 вопросов на отдельную комбинацию модели и задачи.
Независимая генерация нескольких ответов с последующим голосованием сравнялась с развёрнутыми дебатами или обошла их в 93% из 980 сопоставимых комбинаций окна и размера группы. Дебаты оказались статистически значимо лучше лишь в 0,5% случаев. Разрыв был заметнее при тесном окне и почти исчезал при свободном.
Повторная доработка собственного черновика подчиняется тому же ограничению: модель перечитывает прошлый ответ, но не получает усиления от голосования. Поэтому с каждым раундом такой подход теряет точность быстрее, чем дебаты.
Проверка охватила пять открытых моделей и четыре задачи на рассуждение. Агенты видели сообщения только из последнего раунда; полный журнал занял бы больше окна и усилил бы штраф за чтение. Для продуктовой системы вывод практический: сначала стоит измерить одиночную модель при нескольких лимитах генерации, а уже затем решать, нужны ли обмен ответами и дополнительные агенты.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
