Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
При ускорении генерации часть вычислений уходит на продолжения, которые целевая модель никогда не выберет: независимые прогнозы для разных позиций склеивают несколько правдоподобных фраз в одну «химеру». Хотя препринт команды Beihang University и Canva Research не рецензирован и числа получили сами авторы, предложенный метод MFD оказался быстрее лучшего одно-режимного дерева, обученного тем же способом. Для систем с низкой задержкой это меняет не целевую LLM, а устройство её черновой модели и проверяемого дерева.
Почему дерево склеивает несовместимые продолжения
Спекулятивное декодирование поручает небольшой черновой модели предложить следующие токены, а основная LLM проверяет их параллельно. Если предложение совпало с её продолжением, система принимает сразу несколько токенов. Если нет, результат исправляет сама целевая модель, поэтому распределение её ответов не меняется.
Блоковая черновая модель предлагает целую последовательность за один проход. Она выдаёт отдельное распределение вероятностей для каждой позиции, а алгоритм DDTree перемножает эти вероятности и помещает лучшие префиксы в дерево. Целевая LLM затем проверяет все ветви за один проход.
Проблема возникает, когда у фразы есть несколько правдоподобных продолжений. Токены внутри каждого варианта связаны, но отдельные распределения по позициям этой связи не сохраняют. Лучший путь может взять начало из одного варианта, середину из другого и окончание снова из первого.
Так появляется химера: черновая модель оценивает её высоко, хотя целевая LLM почти наверняка не произведёт такую последовательность. Чем сильнее варианты расходятся после развилки, тем больше несовместимых комбинаций дерево должно поставить рядом с настоящими продолжениями. Дополнительное обучение не устраняет этот дефект, потому что его создаёт само независимое прогнозирование позиций.
Как MFD сохраняет несколько будущих фраз
Multi-Future Drafting добавляет в черновую модель несколько обучаемых режимов. Каждый режим получает собственный вектор на входе и строит связное продолжение, но все режимы проходят через модель одновременно. Отдельные черновые модели и последовательные проходы для этого не нужны.
Режим здесь играет роль скрытой переменной, которая обозначает возможное будущее фразы. Благодаря ей прогноз для одной позиции согласуется с прогнозами для остальных: один режим может продолжать математическое рассуждение одной формулировкой, другой — переставить шаги или выбрать иной формат ответа.
При обучении режим, который лучше остальных покрывает эталонное продолжение, получает основной градиент. Это заставляет режимы специализироваться, а не повторять один и тот же наиболее частый вариант.
При генерации MFD не выбирает единственный режим заранее. Алгоритм оценивает каждый префикс по режиму, который даёт ему наибольшую вероятность, а затем собирает общее дерево. Целевая LLM проверяет его и фактически сама определяет, какой вариант совпал с её продолжением.
Метод добавляет к черновой модели только векторы режимов и механизм их оценки, но меняет поиск по дереву и схему обучения. Проверяли его на четырёх целевых моделях Qwen размером от 4 до 27 млрд параметров, на пяти задачах и при пакете из одного запроса. В тесты вошли детерминированная генерация и генерация с выборкой.
Когда результаты меняют архитектурный план
В обычном дереве химеры занимали 27–33% узлов при бюджете в 64 узла. Это не просто ошибочные варианты: каждый такой узел вытесняет связный префикс, который мог бы увеличить число принятых токенов.
MFD работал на 5–8% быстрее лучшего одно-режимного дерева, обученного по тому же рецепту. На Qwen3-4B и Qwen3-8B преимущество перед выпущенным DARTree составило 9–16%, а максимальное ускорение относительно обычного авторегрессионного декодирования достигло 7,8 раза.
Работа влияет на планы команд, которые уже используют или рассматривают древовидную проверку ради задержки одиночного запроса. Вместо дальнейшей настройки независимых распределений по позициям имеет смысл проверить режимы на входе черновой модели: эксперимент показывает, что у одно-режимной схемы есть структурный потолок.
Для цепочечной проверки вывод слабее. Несколько режимов приносят пользу, когда проверяющая модель видит ветви одновременно; выбор одной цепочки заранее теряет преимущество. Режимы также мало добавляли черновой модели, которая уже связывала позиции через ранее предложенные токены.
При высокой параллельности запросов результаты нельзя переносить напрямую: основные замеры относятся к одиночному пакету, а при его росте адаптивная конфигурация переключалась на одно-режимный путь. Поэтому практическая проверка должна измерять не только принятые токены, но и полную задержку с построением дерева на целевом оборудовании.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
