Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Короткую черновую модель можно использовать на сверхдлинном контексте без переобучения и не терять исходное ускорение. В препринте Aref Jafari и соавторов, который не прошёл рецензирование и в котором числа получили сами авторы, эффект сохранился вплоть до двух миллионов токенов. Для команд это означает, что перед обучением отдельной длинноконтекстной модели стоит проверить две настройки на стороне vLLM.
Почему черновая модель перестаёт экономить вычисления
Упреждающее декодирование (speculative decoding) подключает к основной LLM дешёвую черновую модель. Она предлагает сразу несколько следующих токенов, а основная модель параллельно проверяет их и принимает подходящие. Если предложения достаточно точны, основная модель делает меньше последовательных шагов и генерирует ответ быстрее.
На длинной входной последовательности эта схема может потерять смысл. Если черновая модель на каждом шаге просматривает весь предыдущий текст, её вычислительная стоимость растёт вместе с контекстом. Сначала выигрыш сокращается, затем дополнительная проверка начинает обходиться дороже генерации только основной моделью.
Обычный ответ на эту проблему — обучить или дообучить черновую модель для длинного контекста. Другой вариант — использовать встроенную в основную модель головку, которая предсказывает несколько токенов. Оба пути требуют подходящей модели или изменения её весов.
Работа предлагает не давать черновой модели прямой доступ ко всему контексту. Такая модель уже получает скрытые состояния, которые основная LLM рассчитала по всей входной последовательности. Дальний фрагмент текста влияет на эти состояния, а основная модель при проверке отбрасывает неудачные предложения. Поэтому черновой модели не обязательно самостоятельно перечитывать весь контекст.
Ограниченный кэш и перенос позиционных индексов работают вместе
Первый механизм ограничивает кэш внимания, доступный черновой модели. Она видит только ограниченную часть предыдущей последовательности, поэтому её стоимость не продолжает расти вслед за контекстом. Основная модель при этом работает с полным входом.
Второй механизм переносит индексы вращательного позиционного кодирования обратно в диапазон, знакомый черновой модели по обучению. Без такого переноса модель получила бы позиции далеко за пределами своей исходной длины контекста. Авторы также вывели условие, при котором общий сдвиг индексов вообще не меняет вычисления черновой модели.
Готовые короткоконтекстные модели запускали без изменения весов на последовательностях от 4 тысяч до 2 миллионов токенов. Проверка охватила три пары основной и черновой моделей и пять корпусов текстов, но, поскольку материал подготовлен по абстракту, а не по полному тексту, точную методику, названия моделей и наборов данных восстановить нельзя.
Одна конфигурация vLLM сохраняла то ускорение, которое черновая модель давала на коротком контексте. На коротких последовательностях цена настроек составляла не более 0,16× от коэффициента ускорения. Если убрать любой из механизмов, стабильность на длинном контексте исчезает: ограничить только стоимость или только вернуть позиции в знакомый диапазон недостаточно.
Работа не обещает один и тот же коэффициент ускорения для любой связки моделей. Её результат уже: если конкретная черновая модель ускоряет генерацию на коротком входе, настройки позволяют не растерять этот выигрыш по мере роста контекста.
Когда это меняет план внедрения
Команде с уже работающим упреждающим декодированием не стоит начинать с обучения новой длинноконтекстной черновой модели. Сначала можно заморозить существующую модель, ограничить доступный ей кэш и перенести позиционные индексы в обученный диапазон. Такой эксперимент затрагивает конфигурацию выполнения, а не веса.
Проверять нужно стоимость на один сгенерированный токен, а не только долю принятых предложений. Схема даёт выигрыш, пока черновая генерация вместе с проверкой обходится дешевле, чем сопоставимый запуск одной основной модели. Высокая точность предложений сама по себе не гарантирует ускорение, если черновой проход слишком дорог.
Для новой системы работа меняет порядок инвестиций. Сначала имеет смысл измерить короткоконтекстное ускорение на своей паре моделей, затем применить обе настройки и проследить, остаётся ли результат стабильным с ростом входа. Обучение отдельной модели оправдано только после того, как этот более дешёвый путь не дал нужной задержки или стоимости.
Абстракт не позволяет превратить подход в готовый производственный рецепт: в нём нет конкретных значений размера кэша и правил выбора параметров для разных моделей. Но он задаёт проверяемую инженерную гипотезу для прототипа в vLLM и снимает предположение, что длина контекста черновой модели обязана совпадать с длиной контекста основной.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
