Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Для MoE-моделей с выгрузкой экспертов научились ускорять генерацию, отказываясь от правдоподобных, но слишком дорогих черновых токенов. Препринт не рецензирован, и все числа в нём получили сами авторы: в основном сравнении SpecFit оказался быстрее EAGLE-3 при том же кэше экспертов. Командам с ограниченной памятью GPU стоит оптимизировать не длину принятого черновика, а число токенов в секунду с учётом передачи весов.
Почему хороший черновик становится дорогим
В модели типа «смесь экспертов» (mixture of experts) каждый токен активирует лишь несколько специализированных блоков. Если все их веса не помещаются в GPU, система хранит часть весов в оперативной памяти и перед каждым вычислением переносит нужные блоки на ускоритель.
Опережающее декодирование (speculative decoding) сначала строит несколько возможных продолжений с помощью небольшой черновой модели. Затем основная модель проверяет их за один проход и принимает совпавшую последовательность. В плотной модели большая группа кандидатов помогает распределить стоимость прохода между несколькими принятыми токенами.
У MoE цена устроена иначе. Каждый узел чернового дерева может обратиться к своему набору экспертов, причём система загружает экспертов и для веток, которые основная модель затем отвергнет. Два дерева одинакового размера поэтому требуют разного времени: одно повторно использует уже загруженные блоки, другое добавляет новые передачи из оперативной памяти.
EAGLE-3 ранжирует кандидатов по вероятности принятия и заполняет заданный бюджет наиболее перспективными узлами. Такой отбор не видит, что ещё один вероятный токен может подключить несколько отсутствующих в GPU экспертов и удлинить весь цикл. В экспериментах на суммаризации обычный EAGLE-3 без кэша из-за этого работал медленнее последовательной генерации.
Как SpecFit выбирает ветки по пропускной способности
SpecFit оценивает для каждого поддерева две величины. Ожидаемое число принятых токенов он получает из вероятностей путей, которые уже вычислил черновик. Время цикла предсказывает по числу проверяемых узлов и объединению экспертов, активированных этими узлами в каждом слое.
Если два токена используют одного эксперта, его стоимость учитывается один раз. Новый узел платит только за экспертов, которых ещё нет в выбранном поддереве. Коэффициенты модели времени один раз подбирают на калибровочных запросах, после чего SpecFit ищет поддерево с лучшим отношением ожидаемых токенов к длительности цикла.
Выбранное дерево должно сохранять родителей каждого узла: проверить продолжение без его префикса нельзя. Точный перебор остаётся практичным, потому что исходный пул содержит не более 18 узлов. Тот же расчёт останавливает построение черновика, когда новый уровень не добавляет выгодных кандидатов.
На CNN/DailyMail SpecFit ускорил декодирование относительно EAGLE-3 с тем же кэшем на 21,6%, а на GSM8K — на 7,0%. На суммаризации он проверял в среднем 2,88 чернового узла вместо 7; на математических задачах, где EAGLE-3 принимал более длинные пути, цикл всё равно стал на 13,8% короче.
Метод не меняет маршрутизатор основной модели и не пропускает выбранных им экспертов. Он сокращает только набор проверяемых токенов, поэтому не требует переобучать черновик или менять вычисления основной модели.
Когда подход меняет архитектурный план
Работа касается систем, где веса MoE не помещаются в GPU, а генерация использует древовидный черновик. Для такой конфигурации фиксированный бюджет кандидатов или оптимизация средней длины принятого пути дают неполную картину. Планировщику нужны маршруты токенов по экспертам и модель времени, которая учитывает их совместное использование.
Проверяли одну модель Qwen3-30B-A3B на 40 статьях CNN/DailyMail и 80 задачах GSM8K. Основные замеры провели на одной A100 PCIe, часть сравнения повторили на RTX 4090. Запросы обрабатывали по одному, поэтому результаты напрямую описывают интерактивную генерацию, но не пакетную обработку.
Есть существенная граница между экспериментом и внедрением. Во время замеров SpecFit получал маршруты из заранее подготовленного атласа, построенного вне таймера запроса. В рабочей системе его должен заменить предсказатель маршрутов; основная модель всё равно выполнит правильные вычисления, но ошибка предсказателя может привести к невыгодному выбору ветки.
Практический вывод не сводится к немедленной замене EAGLE-3. Сначала стоит измерить, какую долю цикла занимают передачи экспертов и насколько ветки различаются по их наборам. Если перенос весов лежит на критическом пути, выбор по ожидаемой пропускной способности становится отдельным компонентом системы наряду с кэшем и предварительной загрузкой экспертов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
