Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Коммерческие маршрутизаторы запросов между LLM не смогли выбрать модель лучше простой случайной схемы при той же стоимости. В препринте Fastino Labs, который не проходил рецензирование и содержит замеры самих авторов, ни один из шести роутеров не обошёл случайный выбор между двумя выгодными моделями, а худший разрыв достиг 10,5 процентного пункта. Для продукта это меняет порядок проверки: сначала стоит подобрать две модели и сравнить роутер с их случайным чередованием.
В эксперимент вошли OpenRouter, Microsoft Azure, vLLM, Not Diamond, Nadir и Orca в 14 конфигурациях. Сервис выбирал модель для каждого запроса, после чего ответ генерировали и оценивали отдельно с едиными настройками и ценами. Результат сравнивали со случайным выбором между Gemini 3.7 Flash и Opus 5 при той же средней стоимости.
Роутеры повторяли четыре ошибки. Они слабо учитывали сложность, чаще тратили дорогую модель на короткие ответы, привязывали выбор к источнику задания и включали в набор модели вне границы лучших сочетаний цены и доли верных ответов. Обычная оценка по цене и точности сама поощряет первые три шаблона: на самых трудных запросах обе модели часто ошибаются, короткий ответ дешевле улучшить, а источник задания проще распознать, чем его реальную сложность.
Большой набор моделей тоже не дал ожидаемого преимущества. Две, а в отдельных случаях три удачно выбранные модели почти достигали лучшей доступной точности. Даже собственный двухмодельный роутер Fastino Labs, который направлял более сложные запросы сильной модели и избегал найденных ошибок, не превзошёл случайную схему при равной стоимости.
Основную проверку провели на 800 заданиях из восьми категорий, включая программирование, математику, работу с инструментами и выполнение инструкций. Ответы получили от 26 моделей; отдельные закономерности повторили на RouterBench, SPROUT и LLMRouterBench. Вывод относится к одиночным универсальным запросам и показывает практический порог для закупки роутера: без выигрыша над случайным выбором из короткого списка дополнительная логика маршрутизации не окупается качеством.
Источники
Иллюстрация: рисунок из статьи «Dynamic LLM Routers are Often Misguided», Sam Wang, Julia White, Sahibzada Allahyar и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
