Журнал · Rit.work

e-RWSC ограничивает риск ошибки при остановке перебора ответов LLM

e-RWSC распределяет бюджет генерации между запросами и останавливает перебор, когда один ответ получает статистически подтверждённое большинство.

Rit.work
Студия разработки
20 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Появился способ прекращать перебор ответов LLM, когда один вариант уже получил статистически подтверждённое большинство. В препринте IIT Kanpur, который не рецензирован и чьи числа получили сами авторы, e-RWSC потратил на 61,7% меньше бюджета, чем Best-of-N, и повысил точность на 8,2 процентного пункта. Для систем с повторной генерацией это позволяет заменить единый лимит на управляемый риск преждевременной остановки.

Как ответ получает сертификат большинства

Best-of-N генерирует заранее заданное количество кандидатов, оценивает каждый моделью награды и выбирает лучший. Один и тот же лимит действует для простого запроса, где модель сразу сходится к одному ответу, и для сложного, где варианты продолжают конкурировать.

e-RWSC генерирует кандидатов последовательно и объединяет их по конечному ответу. Разные цепочки рассуждений с одинаковым результатом попадают в одну группу. Метод RWSC учитывает и размер группы, и оценки её участников: сначала нормализует оценки внутри текущего набора, затем экспоненциально преобразует их и складывает веса по группам.

Температура управляет балансом между частотой и оценкой. При высокой температуре все кандидаты получают почти равный вес, поэтому выбор приближается к голосованию по большинству. При низкой вес сосредотачивается на кандидате с лучшей оценкой, как в Best-of-N.

Остановить генерацию сложнее, чем выбрать лидера. Классический последовательный тест Wald предполагает, что проверяемая гипотеза задана заранее. Здесь лидер может меняться после каждого нового кандидата, а накопленное свидетельство проверяется непрерывно, поэтому обычная гарантия теста перестаёт действовать.

e-RWSC ведёт отдельный последовательный процесс ставок для каждого замеченного ответа. Перед новой генерацией процесс определяет ставку только по уже полученным данным. Если следующий кандидат совпадает с проверяемым ответом, условный капитал растёт; если не совпадает — уменьшается.

Общий допустимый риск α распределяется между ответами в порядке их появления. Когда капитал одного процесса пересекает выделенную ему границу, метод подтверждает, что этот ответ появляется у исходной модели чаще половины случаев. Вероятность когда-либо подтвердить вариант без такого большинства ограничена α, даже если проверять границу после каждого шага и останавливать процесс в произвольный момент.

Модель награды влияет на скорость накопления свидетельства, но не на эту гарантию. Хорошие оценки помогают раньше сосредоточить ставки на будущем победителе; ошибочные оценки замедляют остановку. Если ни один ответ не пересёк границу до исчерпания лимита, система возвращается к обычному выбору RWSC без сертификата.

Экономия появляется на запросах с разной сложностью

Метод проверили на пяти языковых моделях, четырёх моделях награды и четырёх наборах задач: GSM8K, MATH500, MMLU и CruxEval. В экспериментах участвовали Qwen2.5-3B, Qwen2.5-7B, Llama-3-8B, Phi-3-Mini-4K и Mistral-24B. Сравнение охватывало фиксированный Best-of-N, RWSC и несколько адаптивных способов остановки.

На MATH500 связка Qwen2.5-3B и ArmoRM при максимуме в 512 кандидатов тратила с e-RWSC в среднем 196,1 кандидата на задачу. Среди ответов, для которых метод остановился с сертификатом, точность составила 94,5%. Сложные задачи чаще доходили до установленного потолка, поэтому экономия возникала не из равномерного урезания бюджета, а из ранней остановки на запросах с устойчивым большинством.

Последовательная проверка почти не добавляла вычислительной нагрузки: в измеренной конфигурации её доля была меньше 0,0002% времени генерации и оценки кандидатов. Основная стоимость по-прежнему приходилась на работу языковой модели и модели награды.

Когда менять архитектуру генерации

Работа меняет планы команд, которые уже генерируют несколько независимых ответов на один запрос и затем ранжируют их. Вместо фиксированного N можно задать максимальный бюджет и допустимый риск α, а фактическое число кандидатов определять отдельно для каждого запроса. Это особенно применимо к математике, тестам и коду, где конечный ответ можно привести к каноническому виду и надёжно объединить в группы.

Для внедрения потребуются последовательная генерация, извлечение конечного ответа, модель награды и жёсткий верхний предел. Сам алгоритм остановки работает на центральном процессоре и не требует отдельного вызова LLM, поэтому основная переделка затронет оркестрацию запросов, а не модельный контур.

Сертификат подтверждает большинство под распределением самой модели, а не истинность ответа. Если модель уверенно повторяет одну и ту же ошибку, e-RWSC подтвердит её так же, как правильный результат. Поэтому метод может управлять расходом токенов и риском преждевременной остановки, но не заменяет проверку фактов, выполнение кода или предметный верификатор.

Источники

Иллюстрация: рисунок из статьи «Sequential Anytime Valid Tests for Efficient Inference-Time Alignment», Vishesh Kumar Singh, Sayak Ray Chowdhury, CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу