Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
StrataFlux научился брать недостающую точность LLM из RAM и SSD, не останавливая генерацию на каждой передаче данных. В тесте с длинным контекстом система дала сопоставимые качество и скорость с конфигурацией vLLM, используя примерно вдвое меньше памяти GPU, хотя работа не рецензирована и числа получили сами авторы. Для команд это превращает память CPU и накопитель из аварийного места для выгрузки данных в рабочий слой запуска модели.
Дополнительная точность хранится вне GPU
Квантование уменьшает разрядность весов модели, поэтому они занимают меньше памяти и требуют меньше данных при вычислениях. Но сильное сжатие меняет значения весов и снижает качество ответов.
Та же проблема возникает с кешем ключей и значений. Он хранит промежуточные данные механизма внимания для уже обработанных токенов и быстро растёт вместе с контекстом. Сжатый кеш экономит память, но тоже добавляет ошибку.
Можно оставить данные повышенной точности в оперативной памяти CPU или на SSD и подгружать их при необходимости. Обычная выгрузка создаёт другую проблему: GPU ждёт передачу, и генерация замедляется.
Jake Hyun и соавторы предлагают не переносить полный набор данных повышенной точности. StrataFlux совместно управляет форматом уточняющих данных, их выбором и доставкой: передаёт только нужные части, совмещает передачу с вычислениями и повторно использует уже загруженное на следующих шагах декодирования.
Здесь важна не отдельная оптимизация канала между CPU и GPU, а вся схема целиком. Если система передаст слишком много данных или запросит их слишком поздно, ожидание вернётся. Если выберет недостаточно уточнений, квантование продолжит ограничивать качество.
Проверка охватила Llama и Qwen, низкоразрядные веса и кеш, отдельные GPU и платформы с общей памятью; качество измеряли на WikiText-2 и AIME 2024/2025, а также проверяли длинный контекст. Поскольку материал подготовлен по абстракту, из него нельзя восстановить правила выбора уточнений и устройство их представления.
Потеря качества уменьшилась без заметной потери пропускной способности
Для Llama при самой низкой разрядности весов перплексия на WikiText-2 снизилась с 9,46 до 8,40. Перплексия показывает, насколько уверенно модель предсказывает следующий токен: чем она ниже, тем лучше. При этом StrataFlux сохранил 95,4% пропускной способности исходной квантованной конфигурации на RTX 5090.
На Qwen с низкоразрядными весами и кешем доля правильных ответов в математическом тесте AIME выросла с 11,0% до 47,1%. Память GPU при этом не увеличилась. Этот результат показывает, что предел качества задаёт не только точность данных, постоянно размещённых на видеокарте.
Два теста проверяют разные свойства. WikiText-2 измеряет предсказание текста, а AIME требует решить математические задачи. Поэтому результаты нельзя свести к одной общей оценке качества, но в обоих случаях добавочная точность компенсировала часть потерь от квантования.
Планы стоит менять на уровне архитектуры памяти, а не выбора модели
Работа не даёт основания сразу менять модель или закупать меньше GPU. Она показывает более узкий путь: если продукт упирается в память при длинном контексте или высокой параллельности, данные модели можно распределять по уровням памяти, не считая всё за пределами GPU безусловно медленным.
Для нового контура генерации стоит предусмотреть отдельный слой, который выбирает и подаёт уточняющие данные. Тогда веса и кеш на GPU остаются компактными, а RAM и SSD хранят то, что нужно для восстановления качества. Такой подход особенно уместен, когда пропускную способность ограничивает объём памяти, а не сами вычисления.
StrataFlux нельзя воспринимать как простую замену формата весов. Результат зависит от того, насколько точно система согласует представление данных, выбор нужных частей, передачу и повторное использование. Команде придётся измерять весь путь декодирования, а не только скорость матричных операций или чтения накопителя.
Практический вывод — не отказываться от сильного квантования заранее, если оно не проходит по качеству. Архитектура с избирательной подачей точности создаёт промежуточный вариант между двумя крайностями: держать всё на GPU или выгружать полные данные и ждать их на каждом шаге.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
