Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
У рассуждающих моделей со смесью экспертов (MoE) научились сокращать повторные проверки ответа без переобучения весов. В препринте UCLA, который ещё не прошёл рецензирование и опирается на замеры самих авторов, число сгенерированных токенов снизилось в медиане на 30,4%, а точность потеряла не более 0,5 процентного пункта. Для команд с открытыми MoE-моделями это добавляет промежуточный вариант между грубым лимитом токенов и дообучением.
Роутер показывает, чем занята модель
В MoE-модели роутер для каждого токена выбирает небольшую часть специализированных модулей — экспертов. Обычно этот механизм рассматривают как способ сократить вычисления: вместо всех экспертов работают только выбранные. Shengjie Wang, Mohsen Fayyaz и Nanyun Peng проверили, отражает ли выбор экспертов текущую роль фрагмента рассуждения.
Ответы разделили на предложения и короткие смысловые части. Модель-оценщик GPT-5.5 присвоила каждому фрагменту одну из ролей: планирование, выполнение шага, повтор уже сказанного, обращение к факту, проверка результата или вывод. Затем эти метки сопоставили с оценками, которые роутер выдавал экспертам на соответствующих токенах.
Простой линейный классификатор по оценкам роутера распознавал роль фрагмента почти так же хорошо, как классификатор по полному скрытому состоянию модели, хотя использовал примерно вдвое меньше признаков. Сигнал сохранялся и после удаления первых слов фрагмента, поэтому результат нельзя объяснить только маркерами вроде «проверим ещё раз».
Связи между поведением и экспертами переносились между математикой, кодом, естественными науками, проверкой знаний и задачами на здравый смысл. Эксперты, связанные с проверкой или завершением ответа на одном наборе данных, помогали распознавать те же роли на другом. Это не доказывает, что отдельный эксперт самостоятельно управляет поведением, но даёт практический способ выбрать кандидатов для вмешательства.
Подавление планирования убирает лишние круги проверки
Во время генерации исследователи меняли оценки выбранных экспертов перед тем, как роутер определял победителей. Эксперта можно было принудительно включить в вычисление или вытеснить из него. Параметры модели при этом не обновлялись, а общие эксперты, которые работают постоянно, оставались без изменений.
Максимальное сокращение ответа достигло 63,3%. Случайное подавление такого же числа экспертов, напротив, увеличило генерацию в 14 из 16 сочетаний модели и теста. Запрос писать короче также уступил вмешательству в роутер во всех проверенных сочетаниях.
Неожиданно лучшей целью оказалось планирование, а не проверка результата. Длинный ответ часто уже содержит решение, но затем модель открывает новый круг словами вроде «проверю другим способом». Подавление связанных с планированием экспертов не убирало сам план: следующий план чаще предлагал завершить ответ, а не начать ещё один вывод.
На Qwen3-30B-A3B в MATH500 такое вмешательство сократило генерацию на 22%. Подавление экспертов, связанных с проверкой или повтором, удлиняло ответы, а вмешательство в выполнение рассуждения увеличивало их длину на 52% и при более сильной настройке вредило точности. Модель либо заново выводила уже найденное, либо медленнее проходила обязательные шаги.
Экономия возникала преимущественно после первого ответа. До него модель сохраняла основную цепочку решения, а после него реже запускала альтернативные вычисления. Поэтому метод действует точнее фиксированного лимита токенов, который может одинаково обрезать как бесполезную перепроверку, так и необходимое доказательство.
Кому стоит менять план инференса
Метод подходит командам, которые разворачивают открытые MoE-модели и могут менять работу роутера. Практический прототип потребует собрать трассы на целевых задачах, разметить роли фрагментов, найти связанные с ними пары слоя и эксперта, а затем проверить вмешательство на отдельной части данных. Переносить готовый список экспертов между моделями нельзя: их идентификаторы и специализация зависят от архитектуры.
Проверка охватывает Gemma-4, два поколения Qwen3 и GPT-OSS, а также MATH500, AIME 2026, GPQA-Diamond и AICrypto. Это задачи с одним развёрнутым ответом из математики, естественных наук и криптографии. Для многошаговых агентов, где повторная проверка может менять внешнее действие или состояние процесса, эффект придётся измерять отдельно.
Для закрытого API без доступа к роутеру работа планов почти не меняет: остаются инструкции, лимиты генерации и выбор модели. При собственном инференсе метод стоит тестировать там, где ответы регулярно продолжаются после найденного решения. Работа измеряет число токенов, поэтому влияние на задержку и стоимость нужно проверить на собственной инфраструктуре.
Главный инженерный риск — подавить не повторное планирование, а полезный поиск альтернатив. Поэтому сравнивать следует не только среднюю длину и итоговую точность, но и задачи, где первая версия ответа часто ошибочна. Результат статьи показывает пригодный рычаг управления, а не универсальный набор экспертов для всех продуктов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
