Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Число компонентов LoRA можно выбирать отдельно для каждого токена, а не фиксировать для всего слоя. В работе University of Edinburgh и Delft University of Technology, которая не прошла рецензирование и приводит числа, полученные самими авторами, SQUELCH обошёл сильнейшую смесь адаптеров на 0,8–1,2 пункта. Это даёт альтернативу маршрутизаторам и ручному подбору числа активных компонентов.
Как шумовой порог заменяет маршрутизатор
LoRA дообучает замороженную модель через небольшую матричную добавку к её слоям. Эту добавку можно представить как сумму одноранговых компонентов: каждый получает отклик от токена и вносит свой вклад в результат слоя. Обычная LoRA применяет к каждому токену все компоненты.
Авторы обнаружили в откликах характерную структуру. Несколько компонентов дают крупные значения, а остальные образуют примерно гауссов шумовой фон той же ширины, что и у необученного адаптера. Если убрать отклики ниже этого фона, качество сохраняется; случайное удаление или выбор фиксированного числа крупнейших компонентов работает хуже.
SQUELCH оценивает уровень шума отдельно для каждого токена по медиане абсолютных откликов. Затем он применяет мягкий порог: слабые значения обнуляет, а сильные уменьшает на величину порога. Поэтому служебное слово может задействовать мало компонентов, а число, оператор или содержательное слово — больше.
Высоту порога метод выбирает для каждого модуля через несмещённую оценку риска Стейна. Она оценивает ошибку очистки сигнала без меток и не позволяет целевой функции просто свести порог к нулю ради более плотного адаптера. Команде не нужно задавать общий бюджет ранга или обучать отдельную сеть-маршрутизатор.
Независимое пороговое решение ещё не учитывает, что разные компоненты могут вносить почти одинаковый вклад. Поэтому SQUELCH делает один шаг по матрице сходства их выходных векторов: подавляет дублирующие компоненты и возвращает дополняющие. Параметры остаются теми же, что у LoRA; меняется только способ собрать обновление для конкретного токена.
Где переменный ранг дал прибавку
По сравнению с обычной LoRA метод прибавил 2,2–3,2 пункта на задачах здравого смысла, знаний, математики, программирования и GLUE. В среднем токен использовал 8,6 из 32 компонентов. При этом порог, который обучали напрямую по целевой функции, почти отключал разреживание и давал результат хуже полного метода.
Разбор механизма показывает, что одного порога недостаточно. Без шага, который устраняет взаимное дублирование, код дальше отклонялся от совместного разреженного решения. Фиксированный выбор крупнейших откликов тоже уступал: одинаковый бюджет плохо описывает токены разной сложности.
Метод проверяли на LLaMA-3.1-8B, линейке Qwen3 вплоть до 14B и DeBERTaV3-base. Эксперименты охватывают декодеры и один энкодер, обучение с учителем и англоязычные наборы задач. Это широкая проверка внутри адаптации языковых моделей, но не подтверждение для других режимов обучения и более крупных систем.
Когда SQUELCH меняет архитектурный выбор
Работа меняет планы команд, которые уже выбрали LoRA, но рассматривают смеси экспертов ради меньшего числа активных компонентов. SQUELCH убирает два проектных решения: отдельный маршрутизатор и фиксированный бюджет для токена. Его можно сравнивать с текущим адаптером при тех же обучаемых матрицах.
Плата за это — вычисления во время выполнения. Метод считает медиану откликов и работает с матрицей сходства компонентов; обучение и инференс в экспериментах замедлились на 5% относительно несоединённой LoRA. Как и другие адаптеры с маршрутизацией по входу, SQUELCH нельзя заранее слить с весами основной модели, потому что набор компонентов зависит от токена.
Если продукт требует слитого адаптера или имеет жёсткий предел задержки, обычная LoRA остаётся более простым выбором. Если адаптер и так выполняется отдельно, а команда подбирает число экспертов или правила top-k, SQUELCH стоит включить в технический эксперимент: он заменяет ручной бюджет измеряемым шумовым порогом и сохраняет запас компонентов для сложных входов.
Источники
Иллюстрация: рисунок из статьи «How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts», Mei Okonkwo, Owen Castellanos, Ingrid Solberg и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
