Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ускорение выдачи MoE-моделей через сокращение вычислений может ослабить их отказ от вредных запросов, почти не затронув обычные тесты качества. В нерецензированном препринте, где числа получили сами авторы, максимальный рост доли вредных ответов при основном режиме сокращения составил 18,4 процентного пункта. SafeStart защищает начало ответа и сохраняет не менее 85% ускорения.
Почему тесты качества пропускают проблему
В моделях со смесью экспертов (MoE) каждый токен обрабатывает не вся модель, а несколько специализированных подсетей. Маршрутизатор выбирает их отдельно для каждого токена, поэтому сервер может ускорить генерацию, оставив около двух третей от штатного числа выбранных экспертов.
Экономия возникает не столько из-за меньшего числа арифметических операций, сколько из-за чтения меньшего объёма весов из памяти GPU. На одной RTX A6000 декодирование в vLLM ускорилось на 15–28% при пакете из 8 запросов. С ростом пакета преимущество уменьшалось: разные запросы вместе всё равно задействовали почти полный набор экспертов.
Авторы проверили девять открытых моделей, включая Qwen1.5-MoE, OLMoE и DeepSeek-V2-Lite. Для оценки отказов они использовали вредные запросы в обычной форме и с шаблонами взлома, которые запрещали модели извиняться или прямо задавали начало ответа.
Ответы размечали две автоматические модели-оценщика, а часть спорных случаев проверяли люди. Сравнение было парным: один запрос отправляли исходной и сокращённой модели, после чего смотрели, превратился ли безопасный ответ во вредный.
На трёх моделях рост доли вредных ответов оказался статистически значимым. При этом результат MMLU, теста общих знаний и рассуждений, снижался менее чем на два пункта. Поэтому проверка только точности создаёт ложное ощущение, что настройка сервера не меняет поведение модели.
Отказ определяется в начале ответа
Эксперименты с разным числом экспертов для отдельных позиций показали, что основная поломка возникает во время обработки запроса и первых сгенерированных токенов. Если сокращённая и исходная модели расходились на вредном запросе, различие часто появлялось уже на первом токене ответа.
Это объясняет, почему обычная метрика точности почти не реагирует. Сокращение экспертов не обязано разрушать знания модели или весь ход рассуждения. Оно может лишь сдвинуть раннее внутреннее состояние, которое определяет, начнёт модель отказ или перейдёт к выполнению запроса.
В части моделей сокращение также уменьшает суммарный вес, который получает ветвь выбранных экспертов. Но одной потерей этого веса результат не объясняется: замена и перенормировка экспертов тоже меняли отказы. Практический вывод проще механистического — режим вычислений для начала ответа нельзя выбирать по средней точности всей модели.
SafeStart меняет настройку сервинга, а не выбор модели
SafeStart использует штатное число выбранных экспертов при обработке всего запроса и первых 8 токенов ответа. Затем система переключается на сокращённый набор. Авторы встроили оба режима в одно ядро vLLM, чтобы не перезапускать вычисления и не переносить промежуточное состояние между двумя экземплярами модели.
На трёх моделях и трёх способах сокращения изменение доли вредных ответов после SafeStart находилось между −2,1 и +1,3 процентного пункта относительно исходной модели. На отдельном наборе из 889 запросов остаточный рост составил от 0,6 до 2,6 пункта, тогда как простое сокращение экспертов давало заметно больший разрыв.
Работа не требует пересматривать выбор MoE-архитектуры, но меняет план внедрения оптимизаций. Команде недостаточно прогнать MMLU, задачи на код или собственный набор корректных запросов: после изменения маршрутизации нужно отдельно сравнить отказы исходного и ускоренного сервинга на одинаковых вредных запросах.
SafeStart имеет смысл прежде всего там, где сокращение экспертов уже даёт измеримое ускорение — при небольших пакетах и ограничении пропускной способности памяти GPU. Для крупных пакетов сначала стоит проверить выигрыш на реальной нагрузке: если почти все эксперты и так читаются из памяти, дополнительная логика не решает заметной проблемы производительности.
Главный инженерный результат работы — безопасность можно учитывать на уровне расписания вычислений. Необязательно отказываться от сокращения экспертов целиком: достаточно оставить исходный режим в той части генерации, где модель выбирает между отказом и продолжением ответа.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
