Журнал · Rit.work

Cap-and-Track распределяет LLM-запросы по отказам, а не по фиксированному лимиту

Meta управляет асинхронным LLM-инференсом по быстрым отказам серверов: такой диспетчер занял на 43% меньше H100 и подстроился под изменение доступной ёмкости.

Rit.work
Студия разработки
19 ноября 2026 г.4 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Асинхронную обработку LLM можно держать близко к доступной ёмкости, даже когда парк GPU меняется, а длина ответа заранее неизвестна. Команда Meta внедрила такой диспетчер и в параллельном производственном сравнении обслужила классификатор на 43% меньшем числе H100, хотя работа пока не рецензирована и все числа получили сами авторы. Для фоновых задач это позволяет заменить ручную настройку темпа отправки на обратную связь от самих серверов.

Сервер отказывает до того, как запрос застрянет в очереди

Фиксированный темп отправки быстро устаревает. Если ответы стали короче или парк вырос, часть ускорителей простаивает. Если ответы стали длиннее, провайдер потерял доступную мощность или несколько реплик остановились, запросы накапливаются внутри серверов, расходуют память и успевают дойти до тайм-аута.

Cap-and-Track разделяет ожидание и исполнение. Избыточная работа остаётся в долговечной приоритетной очереди, откуда её можно повторно получить после сбоя. Внутри сервера остаётся лишь короткая очередь, достаточная для заполнения пакета запросов на GPU.

Компонент Cap стоит рядом с ресурсом, который первым достигает предела. Для внутреннего парка это лимит запросов на каждой реплике, для внешнего провайдера — его механизм допуска. Когда места нет, Cap сразу возвращает HTTP 429 вместо того, чтобы принять запрос и заставить его ждать. Отказ не означает потерю работы: диспетчер возвращает запрос в начало готовой очереди.

Track хранит состояние отдельно для каждого домена ёмкости — группы реплик или квоты провайдера. Раз в 15 секунд он смотрит только на долю отказов: при значении не выше целевых 2% повышает темп на 3%, а при превышении снижает его. Тайм-ауты, сетевые ошибки и другие сбои в этот сигнал не входят, поэтому временная проблема приложения не маскируется под нехватку GPU.

Такой контур не пытается предсказать число выходных токенов и не требует общего лимита для всего парка. Когда добавляется реплика, суммарный допуск растёт сам; когда реплика исчезает, отказы заставляют Track отступить. Диспетчер постоянно приближается к текущему пределу, но не держит длинную очередь внутри инференс-сервера.

Фиксированный лимит выигрывает только при неизменной ёмкости

В воспроизведении производственного потока на реальных движках Track уступил по полезной пропускной способности меньше 1% фиксированному темпу, который заранее выставили на 20% выше измеренного предела. Полезная пропускная способность здесь означает запросы, завершённые до тайм-аута. При этом доля отказов у Track была примерно вчетверо ниже.

Преимущество фиксированной настройки исчезает при изменении парка или состава запросов: она либо оставляет часть ресурса свободной, либо продолжает отправлять работу в уже перегруженный сервер. Cap-and-Track прошёл изменения размера внутренних парков и вытеснение нагрузки из общего пула без ручной перенастройки темпа.

На равных парках для zero-shot-модели новый диспетчер разбирал общую накопившуюся очередь раньше прежней системы — медианная разница составила 3 часа. В рабочем сервисе через тот же механизм проходит больше 300 миллионов онлайн-запросов в сутки. Обратная сторона проявилась во время массовой фоновой обработки: задания с низким приоритетом ждали дольше, потому что меньший парк оставался полностью занят более важной работой.

Планы меняются для фонового инференса, но не для интерактивных сессий

Схема подходит продуктам, где запрос можно поставить в очередь и повторить: анализ публикаций, обработка видео, классификация и пакетное обогащение данных. Команде нужны долговечная очередь с приоритетами, быстрый и однозначный статус перегрузки рядом с узким местом, а также один диспетчер с сохраняемым состоянием на каждый общий ресурс.

Если сервер сейчас принимает всё и складывает лишнее во внутреннюю очередь, одного нового алгоритма отправки недостаточно. Сначала потребуется ограничить число запросов на реплике и отделить отказ из-за ёмкости от остальных ошибок. Иначе Track получит запоздалый или неоднозначный сигнал и не сможет определить доступный предел.

Автомасштабирование при этом не исчезает. Оно меняет число реплик, а Cap-and-Track использует появившуюся ёмкость без нового глобального лимита. Размер парка можно выбирать по допустимому времени ожидания для низких приоритетов, а не пытаться немедленно обслужить любой пик; глубина внешней очереди показывает, когда стоит добавить GPU.

Работу проверяли на нагрузках Meta для анализа публикаций и прямых трансляций: с квотами провайдеров, внутренними парками H100 и MI300X, классификацией и генеративными моделями. Управляемое воспроизведение использовало форму запросов классификатора, а генеративные сценарии оценивали в производстве. Интерактивные запросы и агентские сессии, где пользователь ждёт продолжения, в проверку не входили, поэтому переносить на них выводы пока рано.

Для команд с асинхронным инференсом работа меняет порядок оптимизации. Сначала стоит вынести ожидание из GPU-сервера, ввести быстрый отказ и сохранить приоритеты в общей очереди; после этого диспетчер сможет подстраивать поток под фактическую ёмкость. Если же задержка каждого запроса видна пользователю, Cap-and-Track пока остаётся архитектурной идеей без проверенных результатов.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу