Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Более точные черновые продолжения сами по себе не делают генерацию LLM быстрее. В препринте FACT, который не прошёл рецензирование и приводит числа, полученные самими авторами, динамическое распределение кандидатов на HumanEval увеличило ускорение относительно обычной генерации с 1,46 до 2,02 раза. Для разработки продукта вывод практический: качество черновой модели, распределение кандидатов и параметры исполнения нужно измерять вместе.
При спекулятивном декодировании (speculative decoding) небольшая черновая модель предлагает несколько продолжений, а основная модель проверяет их за один проход. FACT позволяет независимо менять способ обучения черновой модели, размещение продолжений в дереве кандидатов и условия выполнения. Основная модель подтверждает подходящую ветвь, после чего принятые токены попадают в результат.
При обучении больший вес дали ранним шагам, потому что ошибка в начале делает бесполезным всё продолжение. Градиент также проводили через последовательность предсказанных признаков, чтобы поздние ошибки влияли на ранние. Такая схема увеличила число принятых токенов на 15–24% относительно варианта с одинаковыми весами и разорванным градиентом, однако средняя перекрёстная энтропия не смогла надёжно выбрать лучшую черновую модель.
Для распределения использовали фиксированный бюджет в 256 позиций. Статическая схема заранее задавала число дочерних ветвей, а динамическая отдавала позиции продолжениям с большей накопленной уверенностью. На пяти наборах задач динамический вариант оказался быстрее на каждом из 250 проверенных запросов; эффект сохранился и с отдельно обученной моделью EAGLE.
Настройки исполнения могли полностью стереть выигрыш. Когда число потоков центрального процессора изменили с 8 до 208, ускорение на HumanEval упало с 1,99 до 1,03 раза, хотя основная модель принимала столько же токенов. Проверку проводили с Llama-3-8B-Instruct на одной NVIDIA H100, при выборе самого вероятного следующего токена и на коротких ответах из HumanEval, MT-Bench, MBPP, GSM8K и Alpaca. Результат поэтому описывает этот масштаб и режим, а не пакетную обработку или генерацию со случайной выборкой.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



