Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
При сжатии MoE качество определяет не только выбор удаляемых экспертов, но и то, что модель вычисляет на их месте. Команда NUST показала, что одна настройка маршрутизатора может влиять сильнее способа отбора экспертов; поскольку препринт не рецензирован, все числа в нём получены самими авторами. Значит, сравнивать методы обрезки только по маске недостаточно: реализация замены способна поменять победителя.
Как отделили маску от замены
В модели со смесью экспертов MoE маршрутизатор выбирает для каждого токена несколько специализированных блоков и назначает им веса. Обрезка без дополнительного обучения удаляет часть таких блоков, чтобы сократить объём весов в памяти, но оставляет открытым второй вопрос: что делать, когда маршрутизатор всё ещё направляет токен к удалённому эксперту.
Обычно методы одновременно выбирают маску удаления — набор исключённых экспертов — и способ обработки освободившегося маршрута. Из-за этого нельзя понять, что именно дало результат. Более удачная маска может скрыть неудачную замену, а корректная замена — компенсировать слабый отбор.
В новой работе маску фиксировали, а затем меняли только оператор замены. Сравнение охватило OLMoE, DeepSeek-V2-Lite и Moonlight; Granite использовали для дополнительной проверки поведения маршрутизатора. Для OLMoE и DeepSeek также скрестили несколько способов отбора экспертов с основными вариантами замены.
Первый вариант подставляет постоянный средний выход удалённого эксперта, как MoNE. Второй перенаправляет токен к сохранившимся экспертам. Третий хранит сжатую копию удалённого блока. Предложенный авторами tilted novice вместо константы вычисляет выход из входа с помощью небольшой низкоранговой линейной карты, которую подбирают на калибровочных данных без градиентного обучения.
Результаты сравнивали попарно на одних и тех же заданиях, а статистическую проверку корректировали с учётом множества сопоставлений. Такой протокол снижает риск принять случайный разрыв за преимущество оператора.
Масштаб весов маршрутизатора меняет победителя
После удаления половины экспертов лучший результат на каждом маршрутизаторе давал тот масштаб весов, с которым его обучали. Если исходная модель не перенормировала веса выбранных экспертов, это поведение следовало сохранить. Если перенормировала, оставшимся экспертам нужно было снова назначить веса с той же суммой.
Нарушение этого правила стоило от 0,8 до 8,5 пункта сводной точности. На OLMoE и DeepSeek-V2-Lite привычная перенормировка ухудшала результат и меняла вывод о том, лучше ли перенаправление, чем постоянный выход MoNE. На Moonlight и Granite направление эффекта разворачивалось, потому что их маршрутизаторы обучались с перенормировкой.
Причина в том, что вес маршрутизатора задаёт вклад эксперта в остаточный поток модели. Когда реализация произвольно увеличивает или уменьшает этот вес, она меняет не только адрес назначения, но и масштаб всего экспертного ответа. Поэтому масштаб следует считать частью алгоритма обрезки, а не внутренней деталью среды выполнения.
Tilted novice добавлял 1,2–1,8% параметров к обрезанной модели. Он обошёл постоянную замену на 3,45 пункта на OLMoE и на 1,37 пункта на Moonlight; обе разницы статистически значимы. При смене калибровочной выборки и квантовании преимущество в основном сохранялось.
Единого лучшего оператора не получилось. На DeepSeek-V2-Lite лидировало перенаправление с исходным масштабом, а на OLMoE и Moonlight лучше работала входозависимая карта. Частичная копия удалённого эксперта не отличалась от неё в пределах погрешности на OLMoE и DeepSeek, но уступала на Moonlight.
Что пересмотреть в плане сжатия MoE
Команде, которая уже выбрала критерий важности экспертов, не стоит переносить его в инфраструктуру отдельно от правил маршрутизации. Спецификация обрезанного контрольного файла должна фиксировать оператор замены, способ перенаправления и масштаб весов. Для сохранения исходного масштаба иногда придётся оставить строки маршрутизатора даже для удалённых экспертов.
Тесты только с выбором готового ответа также дают слишком благоприятную картину. При удалении четверти экспертов постоянная замена сохраняла 92–97% исходной точности на таких заданиях, но лишь 5–65% результата на GSM8K и 0–17% на задачах по коду. Проверка генерации должна входить в приёмочные испытания, если продукт генерирует вычисления, программы или длинные ответы.
Калибровочные данные влияют не только на подгоняемую замену, но и на саму маску. Смена предметной области меняла набор удаляемых экспертов в 4–9 раз сильнее, чем повторная выборка общего текста того же объёма. Для прикладной системы маску и оператор разумно калибровать на данных, близких к рабочему потоку, а не на произвольном корпусе.
Выводы относятся к однократной обрезке без обучения базовых моделей с 40–64 маршрутизируемыми экспертами в слое. Работа сравнивает крайние варианты масштаба весов и не переносит результаты тестов с выбором ответа на открытую генерацию. Она не отменяет поиск хорошей маски, но показывает, что без зафиксированной семантики маршрутизации такой поиск нельзя честно сравнить с альтернативами.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
