Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Диффузионные языковые модели удалось ускорить без изменения исходного распределения ответов. Хотя препринт Technion и Ben-Gurion University не рецензирован и числа получили сами авторы, метод SPOT повысил пропускную способность до 3,2 раза относительно обычного декодирования. Для команд это переносит узкое место с качества черновых токенов на порядок их фиксации и стоимость пакетной проверки.
Токен известен раньше, чем место его фиксации
Авторегрессионная модель генерирует текст слева направо, поэтому следующая позиция задана заранее. Вспомогательной модели при спекулятивном декодировании остаётся предложить несколько будущих токенов, а основная модель проверяет их одним пакетом.
Диффузионная модель работает иначе. Она начинает с блока замаскированных позиций, выбирает одну из них, записывает токен и пересчитывает вероятности для остальных. Каждый шаг меняет не только возможные токены, но и позицию, которую модель захочет заполнить следующей.
Оказалось, что сохранённые вероятности с предыдущего прохода уже содержат правильный токен для 92–100% проверенных позиций. Но простое правило «сначала заполнить позицию с наибольшей уверенностью» быстро перестаёт совпадать с реальным порядком основной модели. Поэтому попытка точнее угадывать токены решает второстепенную часть задачи.
Из этого следует практическое разделение. Токены можно брать из уже рассчитанного распределения вероятностей, а небольшой отдельной модели поручить только порядок их фиксации. Такой черновик не должен повторять скрытые представления основной модели или понимать исходный текст.
SPOT строит дерево будущих состояний
SPOT использует модель на 0,62 млн параметров. Она получает вероятности наиболее подходящих токенов в каждой незаполненной позиции, сводные признаки этих вероятностей и путь уже сделанных предположений. На выходе модель оценивает, какую позицию основная модель выберет следующей.
Предсказание повторяется после каждого гипотетического шага. Вместо одной цепочки SPOT строит дерево: разные ветви соответствуют разному порядку заполнения позиций и, при необходимости, разным кандидатам на токен. Ограниченный вычислительный бюджет получают ветви с наибольшей суммарной вероятностью.
Основная модель проверяет корень и все предложенные состояния одним пакетным проходом. Она принимает самую длинную ветвь, которая совпала с её собственными переходами. Если совпадение закончилось, генерация продолжается с последнего подтверждённого состояния, поэтому неверный черновик не попадает в результат.
При случайной выборке обычного сравнения недостаточно: два независимых выбора могут разойтись, даже если сделаны из одного распределения. SPOT передаёт черновику и основной модели один и тот же шум Гумбеля. При заданном шуме переход становится однозначным, а после усреднения по шуму сохраняется исходное распределение основной модели.
SPOT требовал на 15–35% меньше проходов основной модели, чем Spiffy, и достигал до 1,5 раза большей пропускной способности. Относительно декодирования без черновика число проходов сокращалось до 6,8 раза. При этом максимальный бюджет дерева не давал максимальной скорости: крупный пакет повышает долю принятых шагов, но сам дольше обрабатывается.
Планы меняются только у команд, уже выбравших диффузионную модель
Работа не создаёт самостоятельного аргумента в пользу перехода с авторегрессионной архитектуры на диффузионную. Она показывает более узкий результат: если продукт уже строится на блочной диффузионной модели, потерю качества ради параллельного заполнения токенов можно заменить точной спекулятивной проверкой.
Проверка охватила семейство SDAR, LLaDA-2.0-mini, LLaDA-8B и Dream-7B, а также задачи GSM8K, MATH500, MBPP и HumanEval. Эксперименты включали жадную генерацию и случайную выборку при температуре 1. Обученный предсказатель порядка переносили между шестью моделями без повторного обучения, поскольку он читает вероятности на выходе, а не внутренние признаки конкретной архитектуры.
Граница применимости проходит по стоимости проверки. Чем шире блок и больше дерево, тем больше позиций основная модель обрабатывает за один пакетный проход. При низкой доле принятых ветвей или дорогой пакетной проверке выигрыш сокращается, поэтому число проходов нельзя использовать как замену замеру реальной пропускной способности.
Каждый опубликованный результат получен одним прогоном на NVIDIA RTX 6000 Ada. Перед изменением производственного контура команде понадобится повторить сравнение на своей модели, длине блока, оборудовании и типичных запросах. Но направление оптимизации становится конкретным: измерять предсказуемость порядка фиксации, строить небольшое дерево состояний и подбирать его бюджет по времени ответа, а не по числу сэкономленных проходов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
