Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Появился способ прекращать перебор ответов LLM, когда один вариант уже получил статистически подтверждённое большинство. В препринте IIT Kanpur, который не рецензирован и чьи числа получили сами авторы, e-RWSC потратил на 61,7% меньше бюджета, чем Best-of-N, и повысил точность на 8,2 процентного пункта. Для систем с повторной генерацией это позволяет заменить единый лимит на управляемый риск преждевременной остановки.
Как ответ получает сертификат большинства
Best-of-N генерирует заранее заданное количество кандидатов, оценивает каждый моделью награды и выбирает лучший. Один и тот же лимит действует для простого запроса, где модель сразу сходится к одному ответу, и для сложного, где варианты продолжают конкурировать.
e-RWSC генерирует кандидатов последовательно и объединяет их по конечному ответу. Разные цепочки рассуждений с одинаковым результатом попадают в одну группу. Метод RWSC учитывает и размер группы, и оценки её участников: сначала нормализует оценки внутри текущего набора, затем экспоненциально преобразует их и складывает веса по группам.
Температура управляет балансом между частотой и оценкой. При высокой температуре все кандидаты получают почти равный вес, поэтому выбор приближается к голосованию по большинству. При низкой вес сосредотачивается на кандидате с лучшей оценкой, как в Best-of-N.
Остановить генерацию сложнее, чем выбрать лидера. Классический последовательный тест Wald предполагает, что проверяемая гипотеза задана заранее. Здесь лидер может меняться после каждого нового кандидата, а накопленное свидетельство проверяется непрерывно, поэтому обычная гарантия теста перестаёт действовать.
e-RWSC ведёт отдельный последовательный процесс ставок для каждого замеченного ответа. Перед новой генерацией процесс определяет ставку только по уже полученным данным. Если следующий кандидат совпадает с проверяемым ответом, условный капитал растёт; если не совпадает — уменьшается.
Общий допустимый риск α распределяется между ответами в порядке их появления. Когда капитал одного процесса пересекает выделенную ему границу, метод подтверждает, что этот ответ появляется у исходной модели чаще половины случаев. Вероятность когда-либо подтвердить вариант без такого большинства ограничена α, даже если проверять границу после каждого шага и останавливать процесс в произвольный момент.
Модель награды влияет на скорость накопления свидетельства, но не на эту гарантию. Хорошие оценки помогают раньше сосредоточить ставки на будущем победителе; ошибочные оценки замедляют остановку. Если ни один ответ не пересёк границу до исчерпания лимита, система возвращается к обычному выбору RWSC без сертификата.
Экономия появляется на запросах с разной сложностью
Метод проверили на пяти языковых моделях, четырёх моделях награды и четырёх наборах задач: GSM8K, MATH500, MMLU и CruxEval. В экспериментах участвовали Qwen2.5-3B, Qwen2.5-7B, Llama-3-8B, Phi-3-Mini-4K и Mistral-24B. Сравнение охватывало фиксированный Best-of-N, RWSC и несколько адаптивных способов остановки.
На MATH500 связка Qwen2.5-3B и ArmoRM при максимуме в 512 кандидатов тратила с e-RWSC в среднем 196,1 кандидата на задачу. Среди ответов, для которых метод остановился с сертификатом, точность составила 94,5%. Сложные задачи чаще доходили до установленного потолка, поэтому экономия возникала не из равномерного урезания бюджета, а из ранней остановки на запросах с устойчивым большинством.
Последовательная проверка почти не добавляла вычислительной нагрузки: в измеренной конфигурации её доля была меньше 0,0002% времени генерации и оценки кандидатов. Основная стоимость по-прежнему приходилась на работу языковой модели и модели награды.
Когда менять архитектуру генерации
Работа меняет планы команд, которые уже генерируют несколько независимых ответов на один запрос и затем ранжируют их. Вместо фиксированного N можно задать максимальный бюджет и допустимый риск α, а фактическое число кандидатов определять отдельно для каждого запроса. Это особенно применимо к математике, тестам и коду, где конечный ответ можно привести к каноническому виду и надёжно объединить в группы.
Для внедрения потребуются последовательная генерация, извлечение конечного ответа, модель награды и жёсткий верхний предел. Сам алгоритм остановки работает на центральном процессоре и не требует отдельного вызова LLM, поэтому основная переделка затронет оркестрацию запросов, а не модельный контур.
Сертификат подтверждает большинство под распределением самой модели, а не истинность ответа. Если модель уверенно повторяет одну и ту же ошибку, e-RWSC подтвердит её так же, как правильный результат. Поэтому метод может управлять расходом токенов и риском преждевременной остановки, но не заменяет проверку фактов, выполнение кода или предметный верификатор.
Источники
Иллюстрация: рисунок из статьи «Sequential Anytime Valid Tests for Efficient Inference-Time Alignment», Vishesh Kumar Singh, Sayak Ray Chowdhury, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



