Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Задержку между соседними токенами в LLM-сервисе удалось удержать за счёт планирования каждого шага по редким, а не средним задержкам. В работе Sprinklr и Microsoft, которая не прошла рецензирование и приводит замеры самих авторов, планировщик VelServe выдержал целевую задержку при нагрузке в 2,4–4,4 раза выше, чем лучшие из выбранных систем сравнения. Это меняет расчёт ёмкости сервисов, где отдельная пауза в потоке важнее средней скорости ответа.
Средняя скорость скрывает паузы между токенами
LLM обрабатывает запрос в две фазы. Сначала модель читает промпт и выдаёт первый токен, затем генерирует продолжение по одному токену за шаг. Система обычно объединяет активные запросы в пакет, поэтому медленный шаг задерживает сразу все ответы в нём.
Целевая задержка уровня обслуживания (SLO) для такого сервиса включает время до первого токена, TTFT, и время между токенами, TBT. Среднее время генерации не показывает одиночную длинную паузу: один медленный шаг растворяется среди сотен быстрых. Для голосового агента или следующего этапа автоматизированного процесса такая пауза всё равно останавливает работу.
Работа предлагает считать для каждого запроса его собственный 99-й процентиль TBT. Запрос нарушает требование, если слишком много промежутков между его токенами выходят за установленную границу. Пропускная способность с учётом SLO означает максимальный поток запросов, при котором требования выполняют не менее 90% из них.
Причина нарушений — не только длинные промпты. Планировщики вроде Medha заполняют шаг обработкой промпта до предсказанной границы задержки. Запаса на ошибку модели стоимости или остановку со стороны центрального процессора не остаётся, поэтому редкое превышение задерживает весь пакет. Чем длиннее ответ, тем больше таких шагов он успевает застать.
Как VelServe измеряет запас для каждого шага
VelServe не пытается заполнить каждый шаг до предела в 150 мс. Он записывает состав и длительность собственных шагов, измеряет хвост ошибки прогноза и оставляет соответствующий запас. Чем строже требование к промежуткам между токенами и чем длиннее ответы, тем реже планировщик должен допускать превышение.
Калибратор обновляет модель стоимости через каждые 500 итераций. Для сжатого механизма внимания достаточно учитывать число токенов: стоимость почти не растёт вместе с контекстом. Для GQA и MLA VelServe также учитывает длину контекста, потому что один и тот же объём работы позднее в длинном запросе обходится дороже.
Запас времени замедляет чтение промптов, поэтому одного ограничения бюджета недостаточно. VelServe сначала обслуживает запрос с самым коротким оставшимся промптом. Длинные запросы ждут дольше, но их срок до первого токена также растёт вместе с объёмом входа, поэтому у них больше допустимого времени.
В разнесённой конфигурации обработка промпта и генерация работают на разных GPU, но задержка возвращается при подключении нового запроса к генерации. VelServe не ускоряет этот шаг, а реже допускает новые запросы. Период подключения рассчитывается так, чтобы каждый активный ответ встретил не больше медленных шагов, чем допускает его целевой процентиль.
Когда работа меняет план развёртывания
В совмещённом режиме VelServe обеспечил в 2,4–2,9 раза большую пропускную способность с соблюдением SLO на Qwen3-8B и DeepSeek-V4-Flash. На DeepSeek-V2-Lite преимущество составило не менее 4,4 раза. Сравнение охватывало разные профили запросов и архитектуры внимания, а среди альтернатив были vLLM, Sarathi, Medha и Niyama.
В разнесённой конфигурации на восьми GPU требования выполнили 35% запросов против 15–16% у vLLM и Niyama. Абсолютный результат остался ниже целевого уровня, но эксперимент изолировал эффект управления подключениями: без него VelServe работал как системы сравнения, а с ним больше запросов укладывались в требование по TBT при небольшой потере по TTFT.
Для команды, которая рассчитывает парк GPU по средней скорости токенов, работа предлагает изменить саму метрику. Нагрузочный тест должен хранить промежутки между токенами отдельно для каждого запроса, а планировщик — получать телеметрию длительности итераций. Иначе расчёт ёмкости может пройти по среднему времени и провалиться на голосовом интерфейсе, потоковой генерации или цепочке агентов.
VelServe реализован как планировщик для vLLM, поэтому подход не требует менять модель. Однако переносить коэффициенты из статьи напрямую нельзя: калибровка зависит от оборудования, механизма внимания, распределения промптов и остановок хоста. При изменении нагрузки она реагирует с задержкой, а при длительной перегрузке часть самых длинных промптов всё равно не успевает завершить обработку.
Проверка охватывает Qwen3-8B, DeepSeek-V2-Lite и DeepSeek-V4-Flash. Разнесённый режим испытали в пределах одного сервера, на одном движке и с фиксированным распределением GPU между фазами. Поэтому результат уже обосновывает пилот для сервисов со строгим TBT, но не заменяет замеры на собственной модели и рабочем потоке запросов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



