Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Разрядность весов LLM научились подбирать без калибровочного набора и сразу под заданный объём памяти. RAM описали I Kennedy и T Kennedy из Blacksheep ai в препринте, который ещё не рецензирован и приводит числа, полученные самими авторами. На моделях со смесью экспертов метод снизил медианную перплексию на 3,5–13,6% относительно сборок сопоставимого размера с одинаковой 4-битной разрядностью.
RAM запускает через модель пробные сигналы со случайными значениями и измеряет, как округление весов меняет выход каждого тензора. Затем система оценивает тензор в шести вариантах разрядности, а оптимизатор выбирает сочетание, которое точно укладывается в лимит байтов. Отдельные правила блокируют варианты, при которых ошибка резко растёт.
Метод работает благодаря тому, что ошибка округления распределена по многим направлениям, а не сосредоточена в нескольких. Поэтому один случайный сигнал оценивает чувствительность отдельного тензора с отклонением 4–7%. Пробные сигналы проходят через предыдущие слои и тем самым учитывают внутреннюю статистику модели без текстов, которые обычно нужны GPTQ и другим методам для калибровки.
Качество проверяли на семи архитектурах размером от 8B до 122B параметров: плотных моделях, гибридах и моделях со смесью экспертов. На единственной плотной модели Qwen3-8B результат оказался смешанным: при сопоставимом размере RAM сравнялся с HAWQ-V2, но при жёстком лимите памяти уступил обычной 4-битной сборке. Основной выигрыш пришёлся на модели со смесью экспертов, где чувствительность тензоров различается сильнее.
Анализ модели на 400B параметров занял девять минут на одной рабочей станции Apple Silicon. Один проход можно повторно использовать для разных бюджетов памяти, поэтому RAM подходит для выпуска нескольких сборок одной модели под разные устройства. Для плотных моделей и сценариев, где доступен представительный набор текстов, работа пока не показывает устойчивого преимущества перед калибровочными методами.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
