Журнал · Rit.work

Черновая модель для LLM может быть вчетверо уже основной

NVIDIA сузила черновые модели DFlash и EAGLE-3 в два и четыре раза: генерация ускорилась до 1,44 раза при небольшом снижении числа принятых токенов.

Rit.work
Студия разработки
19 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Черновой модели для ускорения генерации не нужна та же внутренняя ширина, что и основной: её удалось сузить вдвое или вчетверо. В препринте NVIDIA, который не прошёл рецензирование и содержит замеры самих авторов, это ускорило выдачу на B200 в 1,06–1,12 раза, а на DGX Spark — в 1,13–1,44 раза. При проектировании такого контура ширину черновой модели теперь стоит подбирать под оборудование, а не наследовать от основной.

При спекулятивной генерации небольшая модель предлагает несколько следующих токенов, а основная проверяет их за один проход и принимает верную последовательность. Обычно черновая модель получает внутренние состояния основной и сохраняет такую же ширину внутренних векторов. Из-за этого её слои переносят больше данных и дольше работают на GPU.

В NarrowSpec ширину всех внутренних векторов черновой модели сократили, а переходы к состояниям основной модели заменили обучаемыми адаптерами. Узкие варианты обучали с нуля при одинаковых данных и бюджете. Для DFlash авторы также объединили выходной адаптер со слоем, который переводит состояние модели в оценки токенов: при запуске остаётся одна узкая операция, а результат меняется только в пределах округления.

При половинной ширине среднее число токенов, принятых за одну проверку, снизилось не более чем на 3%, причём в двух из четырёх сочетаний моделей не снизилось вовсе. При четверти ширины потеря составила 2,1–5,4%. Ускорение сохранилось при росте размера пакета; узкий вариант ни в одном из проверенных режимов не оказался медленнее полноширинного.

Метод проверяли на черновых моделях DFlash и EAGLE-3 вместе с Qwen3-8B и GPT-OSS-20B. Для оценки использовали 880 запросов SPEED-Bench, а генерацию запускали через SGLang на B200 и DGX Spark. Основные результаты относятся к температуре 0 и пакету из одного запроса; замеры охватывают вывод токенов после обработки входа, а не полную задержку запроса.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу