Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агенты программирования могут сами подобрать способ сжатия LLM, собрать новые веса и написать код для её запуска под заданный лимит памяти. В препринте Carnegie Mellon University, который не прошёл рецензирование и содержит замеры самих авторов, лучшие по перплексии варианты сохранили 77,3% средней точности против 79,6% у BF16. Для команды это не готовая замена инженеру, а схема автоматизированного поиска, где качество приходится проверять не одним показателем, а готовым исполняемым артефактом.
Агент отвечает и за веса, и за запуск модели
CompressionBench ставит задачу как работу в изолированной среде с командной строкой. Агент получает исходную модель, ограничение по памяти, среду исполнения, GPU и запас времени. На выходе он должен оставить сжатые веса и код, который действительно запускает их в заданной среде.
Способ сжатия не задан заранее. Агент может менять разрядность отдельных компонентов, округление весов, размеры групп квантования, удалять параметры, применять низкоранговое представление или дополнительное обучение. Изменение формата весов часто требует переписать и путь исполнения, поэтому численный эксперимент нельзя отделить от системного кода.
Лимит действует отдельно на сохранённый пакет и веса, которые постоянно занимают память GPU после запуска. Это закрывает простой обход: сохранить маленький файл, а при загрузке восстановить и держать полную копию высокой точности. Временную рабочую память и кэш контекста считают отдельно.
Во время поиска агент видит перплексию — показатель того, насколько вероятными сжатая модель считает продолжения, созданные исходной моделью. Чем меньше расхождение, тем точнее она воспроизводит распределение следующего токена. Вызов полной проверки расходует общий запас времени, поэтому агент решает, когда достаточно быстрой ошибки отдельного слоя, а когда нужно прогнать всю модель.
Эксперимент охватил шесть агентов, три исходные модели и два лимита памяти для каждой модели. Проверяли плотную Qwen3.8 и две разреженные модели — Nemotron-3.5 и Qwen3.5 — в среде с H200 NVL. Основные итоги опираются на одиночный запуск каждой пары агента и задачи.
Перплексия помогает искать, но не подтверждает результат
Из 36 итоговых артефактов проверку прошли 29. При более мягких лимитах прошли все варианты, а при жёстких часть моделей потеряла слишком много точности или не завершила генерацию вовремя. Если для каждой задачи выбрать прошедший вариант с наименьшей перплексией, её рост относительно BF16 в среднем составит 3,4%.
Главный полезный сигнал для поиска — проверка полной модели. Локальная ошибка показывает, насколько хорошо сжатый слой повторяет исходный, но не учитывает, как небольшие искажения складываются по всей сети. Примерно в каждой пятой сравнённой паре полный прогон менял порядок кандидатов, который следовал из локальных метрик.
Перплексия тоже не гарантирует, что модель сохранила прикладные способности. В промежуточных версиях почти одинаковое значение сопровождалось разными ответами на задачи по математике, программированию и фактам. Поэтому финальная проверка отдельно измеряла среднюю точность на GSM8K, HumanEval и TriviaQA и требовала сохранить 80% результата исходной модели.
Исполняемый код проверяли на тех же основаниях. Оценщик загружал замороженный пакет в отдельной среде, измерял фактическую занятую память, запускал генерацию и проверял, что вероятности получены из переданных весов. Такой порядок ловит ошибки распаковки, неверное масштабирование и скрытые копии весов, которые одна перплексия не обнаруживает.
Планы меняет процесс проверки, а не конкретный агент
CompressionBench не показывает, что сжатие модели уже можно целиком передать агенту и принять первый результат. Несколько итоговых пакетов не прошли проверку, а агенты с близкой перплексией давали заметно разную точность. Скорость декодирования также не входила в целевую метрику: распаковка и преобразование весов могли сделать сжатую модель медленнее.
Работа меняет план для команд, которые регулярно готовят варианты одной модели под разные GPU и лимиты памяти. Агенту можно отдать перебор форматов, распределение разрядности, калибровку и сборку кода, если среда автоматически отбрасывает артефакт при нарушении любого жёсткого условия.
Контур такой автоматизации стоит строить в несколько ступеней. Дешёвые ошибки весов и слоёв подходят для раннего отбора. Полная перплексия нужна перед выбором направления, а тесты генерации — перед фиксацией кандидата. После этого отдельная среда должна повторно проверить пакет, постоянную память GPU и путь исполнения.
Скорость следует держать самостоятельной целью, а не выводить из размера файла. Маленький пакет экономит память только тогда, когда ядра исполнения работают с упакованным представлением и не восстанавливают постоянную копию высокой точности. Для продуктового контура к качеству и размеру придётся добавить задержку, пропускную способность и стабильность запуска на целевом оборудовании.
Практический результат работы — не новый универсальный алгоритм квантования, а воспроизводимая постановка задачи для агента. Она разделяет поиск кандидата и его приёмку, учитывает реальную память после загрузки и не принимает перплексию за полную оценку качества. Именно эти проверки определяют, можно ли безопасно включить агентное сжатие в инженерный процесс.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
