Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Систему из LoRA-экспертов научились строить так, чтобы правило раздачи учебных данных затем само выбирало эксперта для нового запроса. В препринте Mark Lovett, Denis Lim и Soroush Vosoughi, который не прошёл рецензирование и содержит замеры самих авторов, выбранный этим правилом эксперт оказывался лучшим примерно для 90% запросов против 15% после случайного перемешивания назначений. InflEns позволяет отказаться от отдельного обучаемого маршрутизатора и точечно переобучать эксперта, связанного с нежелательным поведением.
Как одна игра управляет обучением и маршрутом
InflEns начинает с фиксированного пространства признаков. Кодировщик превращает каждый запрос в набор координат, которые в опытах отражают вред, галлюцинации, попытки обхода ограничений, утечки приватных данных, чрезмерные отказы, нарушения политик и внедрение инструкций.
Каждый эксперт становится игроком и занимает точку в этом пространстве. Функция влияния определяет, какую долю учебного сигнала он получает от каждого запроса: близкие запросы дают больше, далёкие — меньше. Доли всех экспертов складываются в единицу, поэтому они конкурируют за одни и те же данные и расходятся по свободным нишам.
Эксперты выбирают позиции не по собственным ошибкам. Они стремятся увеличить долю доступного учебного сигнала, а уже эта доля задаёт вес ошибки при обучении соответствующего LoRA-адаптера. Поэтому разделение специализаций можно увидеть до того, как адаптеры начали обучаться.
Те же координаты работают при выдаче. Новый запрос проходит через фиксированный кодировщик, после чего система выбирает эксперта с наибольшей долей влияния либо смешивает вероятности нескольких экспертов. Отдельную модель, которая училась бы маршрутам на ошибках готовых адаптеров, обучать не нужно.
Игра также даёт критерий устойчивости общей позиции. Он связывает число игроков, форму функции влияния и распределение запросов: если зона влияния слишком узкая для занятой области, совместная позиция становится неустойчивой и эксперты расходятся. Это позволяет заранее управлять тем, насколько узкими окажутся их специализации.
Основной опыт охватывал около 28 тысяч запросов из семи наборов по безопасности. Фиксированный Qwen3-Embedding-8B преобразовывал их в признаки, а основная конфигурация состояла из семи пар экспертов. Карта признаков и распределение запросов строились по всему корпусу, но тестовые примеры не участвовали в настройке адаптеров и сравниваемых обучаемых маршрутизаторов.
Фиксированное распределение предсказало качество экспертов
Качество измеряли отрицательной логарифмической правдоподобностью ответа: чем она ниже, тем увереннее модель назначает вероятность правильной последовательности. При смешивании вероятностей на уровне токенов InflEns улучшил этот показатель на 0,105 ната относительно одного общего адаптера.
Когда готовые эксперты зафиксировали, веса из игры обошли равномерное смешивание. Значит, выигрыш обеспечила не только разница между адаптерами: правило маршрутизации действительно находило более подходящую комбинацию. При выборе одного эксперта оно также показало меньшую ожидаемую ошибку, чем линейные маршрутизаторы, обученные на проверочной части данных; при смешивании полных ответов результаты были сопоставимы.
Фиксированный маршрут помог локализовать вредное поведение. Команда заменила небезопасные ответы в учебных данных, относящихся к одному эксперту, и переобучила только его. Доля успешных атак HarmBench снизилась с 0,51 до 0,02, при этом способность следовать обычным инструкциям сохранилась. Контрольное изменение эксперта, который специализировался на приватности, не дало того же эффекта.
Когда InflEns меняет архитектурный план
Работа предлагает не систему без маршрутизации, а другой источник маршрута. Вместо модели, которая скрыто учит назначения вместе с экспертами, команда получает детерминированное правило из геометрии данных. Можно заранее проверить, какие запросы достанутся каждому адаптеру, а после запуска связать проблемный ответ с конкретным экспертом.
Это меняет план для продуктов, где специализации известны заранее и должны обновляться независимо: например, для разных классов рисков, политик или типов корпоративных данных. Вместо полного переобучения смеси можно сохранить маршрутизатор и заменить один адаптер. Такой подход также упрощает аудит, потому что назначение запроса не меняется вслед за колебаниями ошибок экспертов.
Оснований заменять им маршрутизаторы общего назначения пока нет. Основные результаты получены на корпусе по безопасности, а пространство признаков опиралось на разметку использованных наборов. Для продукта с другой структурой запросов придётся отдельно построить признаки и проверить, предсказывают ли игровые доли качество экспертов.
Выбор между одним экспертом и смесью тоже остаётся архитектурным. Жёсткий маршрут запускает один адаптер, но смешивание вероятностей нескольких экспертов дало более сильный результат и требует вычислять несколько выходов. Поэтому ближайший практический шаг — испытать InflEns рядом с существующим маршрутизатором на собственных классах запросов, а не менять производственную схему только по результатам препринта.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



