Журнал · Rit.work

FACT показал, почему точный черновик не гарантирует быструю генерацию LLM

FACT связывает обучение черновой модели, распределение кандидатов и задержку: динамический выбор ветвей ускорил Llama-3-8B-Instruct до 2,02 раза.

Rit.work
Студия разработки
19 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Более точные черновые продолжения сами по себе не делают генерацию LLM быстрее. В препринте FACT, который не прошёл рецензирование и приводит числа, полученные самими авторами, динамическое распределение кандидатов на HumanEval увеличило ускорение относительно обычной генерации с 1,46 до 2,02 раза. Для разработки продукта вывод практический: качество черновой модели, распределение кандидатов и параметры исполнения нужно измерять вместе.

При спекулятивном декодировании (speculative decoding) небольшая черновая модель предлагает несколько продолжений, а основная модель проверяет их за один проход. FACT позволяет независимо менять способ обучения черновой модели, размещение продолжений в дереве кандидатов и условия выполнения. Основная модель подтверждает подходящую ветвь, после чего принятые токены попадают в результат.

При обучении больший вес дали ранним шагам, потому что ошибка в начале делает бесполезным всё продолжение. Градиент также проводили через последовательность предсказанных признаков, чтобы поздние ошибки влияли на ранние. Такая схема увеличила число принятых токенов на 15–24% относительно варианта с одинаковыми весами и разорванным градиентом, однако средняя перекрёстная энтропия не смогла надёжно выбрать лучшую черновую модель.

Для распределения использовали фиксированный бюджет в 256 позиций. Статическая схема заранее задавала число дочерних ветвей, а динамическая отдавала позиции продолжениям с большей накопленной уверенностью. На пяти наборах задач динамический вариант оказался быстрее на каждом из 250 проверенных запросов; эффект сохранился и с отдельно обученной моделью EAGLE.

Настройки исполнения могли полностью стереть выигрыш. Когда число потоков центрального процессора изменили с 8 до 208, ускорение на HumanEval упало с 1,99 до 1,03 раза, хотя основная модель принимала столько же токенов. Проверку проводили с Llama-3-8B-Instruct на одной NVIDIA H100, при выборе самого вероятного следующего токена и на коротких ответах из HumanEval, MT-Bench, MBPP, GSM8K и Alpaca. Результат поэтому описывает этот масштаб и режим, а не пакетную обработку или генерацию со случайной выборкой.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу