Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM научились выбирать финальный ответ по суммарной поддержке разных цепочек рассуждения, не меняя веса модели и не подключая внешнюю модель награды. В препринте Duke University и Morgan Stanley, который не прошёл рецензирование и содержит замеры самих авторов, метод DMS показал лучшую среднюю точность во всех 12 сочетаниях моделей и задач с преимуществом от 0,34 до 10,07 процентного пункта. Для команд это способ потратить дополнительные вычисления на этапе вывода, не подавляя полезные альтернативные решения слишком рано.
Почему нельзя одинаково усиливать рассуждение и ответ
Обычное степенное сэмплирование повышает вероятность последовательностей, которые базовая модель уже считает вероятными. Оно применяет один коэффициент ко всей генерации: и к цепочке рассуждения, и к ответу после неё. Чем выше коэффициент, тем сильнее распределение концентрируется на нескольких последовательностях.
Проблема возникает, когда разные рассуждения приводят к одному ответу. Несколько по отдельности не самых вероятных путей могут вместе давать ответу больше поддержки, чем один очень вероятный путь даёт другому. Если сначала усилить каждую полную последовательность, одиночный путь способен перевесить совокупность альтернатив и изменить порядок ответов.
DMS разделяет эти операции. Сначала метод мягко усиливает распределение цепочек рассуждения. Затем он суммирует условные вероятности одинаковых ответов по всем полученным путям и уже после этого сильнее концентрирует итоговое распределение.
Два коэффициента можно настраивать независимо. Первый определяет, насколько модель предпочитает вероятные рассуждения и как много альтернатив сохраняет. Второй определяет, насколько решительно система выбирает ответ с наибольшей совокупной поддержкой. Одинаковые значения коэффициентов всё равно не превращают DMS в усиление полной последовательности: операции выполняются в другом порядке.
Как SMC сохраняет разные пути
Точное сэмплирование из усиленного распределения потребовало бы просуммировать вероятности всех возможных продолжений. DMS приближает его через последовательный Монте-Карло (SMC): параллельно ведёт несколько частичных генераций, присваивает им веса и периодически перераспределяет вычисления в пользу перспективных префиксов.
Стандартный SMC рискует потерять разнообразие. При повторном перераспределении один префикс копируется много раз, а остальные исчезают. Частицы формально остаются разными, но происходят от одной ранней цепочки и приносят мало независимой информации для подсчёта поддержки ответа.
В FAA-SMC усиление вводится постепенно по мере генерации, а не применяется целиком к первым токенам. Перед выбором предка метод вычисляет прогнозный вес каждого префикса. Выбранные копии затем независимо генерируют следующий токен, поэтому общий предок ещё не заставляет их продолжаться одинаково.
Основные эксперименты используют 16 частиц рассуждения и 32 кандидата ответа. Кандидатов берут из смеси, которую образуют взвешенные рассуждения, после чего каждый полный ответ оценивают на всех путях. Такая перекрёстная оценка приближает его суммарную вероятность, а второй коэффициент превращает её в вес для финального выбора.
На самых сложных математических задачах частицы дополнительно делили на независимые группы. Группы не обмениваются предками во время рассуждения, поэтому одна удачная ранняя ветка не может вытеснить все остальные сразу. Затем их результаты объединяются при оценке ответов.
DMS стоит проверять как декодер, а не как замену модели
Метод проверили на 3 базовых моделях: Qwen3-4B, Qwen3-8B и DeepSeek-R1-Distill-Llama-8B. Набор из 4 испытаний охватывает математику MATH500 и AIME24/25, научные вопросы GPQA-Diamond и генерацию кода HumanEval. Сравнение включало обычное декодирование, пониженную температуру, Power-SMC и Marginal Sharpening.
Полезная деталь видна в разборе компонентов на AIME24/25. Когда усиливали только распределение ответов, ожидаемая вероятность правильного выбора выросла с 66,48% до 76,89%. Дополнительное усиление рассуждений не потребовалось для лучшего наблюдаемого результата в этой конфигурации: раздельные коэффициенты нужны не только для качества, но и для возможности отказаться от лишней концентрации путей.
DMS меняет планы команд, которые уже готовы запускать много параллельных генераций ради одного ответа. Вместо голосования по текстовым совпадениям или выбора самой вероятной полной последовательности можно агрегировать вероятности ответов по разным рассуждениям. Веса модели остаются прежними, отдельный оценщик не нужен, но вычислительная цена переносится в генерацию частиц, перекрёстную оценку кандидатов и хранение их вероятностей.
Работа не показывает универсальную настройку коэффициентов: в экспериментах их подбирали для конкретных моделей и задач. Практический следующий шаг — сравнить DMS с текущим декодером на собственных запросах при одинаковом лимите времени или токенов, отдельно измерив точность, задержку и разнообразие сохранившихся цепочек.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
