Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Исследователи из Knowledgator и SCX.ai Holdings Limited представили SCX Router для выбора LLM под конкретный запрос; работа опубликована как препринт, не проходивший рецензирования. На выбранной авторами части тестов маршрутизатор получил итоговую оценку 0,707 против 0,696 у лучшей фиксированной модели. Разработка важна командам, которые используют несколько LLM и хотят управлять качеством, задержкой и расходами на уровне отдельных запросов.
Что сделали
SCX Router — классификатор примерно на 0,6 млрд параметров с декодером Qwen3. Вместо генерации названия подходящей модели он получает запрос и текстовые метки доступных LLM, после чего за один проход вычисляет пригодность каждой. Метки не закреплены в выходном слое, поэтому список кандидатов можно менять и добавлять собственные категории без дообучения классификатора.
Для диалогов маршрутизатор сохраняет кеш ключей и значений декодера: при новом сообщении обрабатывает только добавленный текст, а временные метки моделей не записывает в состояние сессии. Тот же классификатор оценивает тип и сложность задачи, режим рассуждения и ожидаемую длину ответа.
Авторы отделили прогноз модели от правил эксплуатации. После классификации прикладной слой может исключить неподходящие конечные точки по длине контекста, доступу к инструментам, региону, приватности или безопасности, а затем учесть стоимость, задержку и возможность повторного использования кеша.
Что это значит
Подход позволяет заменить разрастающийся набор ручных условий единым прогнозом, не превращая маршрутизатор во вторую генеративную LLM. Практическая ценность будет зависеть от различий между подключёнными моделями: по собственным замерам авторов, маршрутизация почти не помогает там, где кандидаты показывают близкие результаты.
Ограничения работы: основной результат рассчитан на выбранной части из 1000 заданий LiveBench и других наборов, причём сильнейшую фиксированную модель определяли на тех же данных. Сравнение охватывает восемь кандидатов и не показывает итоговую экономию, задержку или поведение при смене версий конечных точек. Для расширенного списка моделей покрытие заданий различалось, поэтому авторы не провели полноценное общее сравнение; полный корпус синтетических задач и матрица результатов в работе также не представлены как опубликованные материалы.
Источники
Иллюстрация: рисунок из статьи «SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology», Ihor Stepanov, Aleksandr Smechov, Mykhailo Shtopko и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
