Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Маленькая LLM не всегда распознаёт запросы, которые стоит передать большой модели: на задачах рассуждения её уверенность почти не полезнее случайного выбора. В нерецензированном препринте, где замеры выполнили сами авторы, на чтении и классификации такой отбор дал до 5,63 процентного пункта точности сверх случайной маршрутизации. Значит, схему нельзя переносить между продуктами без проверки на собственных задачах и языках.
Каждый запрос сначала обрабатывала маленькая модель. Уверенность определяли как разницу между вероятностями двух самых подходящих вариантов ответа: чем меньше разница, тем выше приоритет переадресации большой модели. Такой подход не требует отдельного маршрутизатора, но зависит от того, насколько модель осознаёт собственные ошибки.
При передаче четверти запросов большой модели система сократила время обработки на 27,5–58,2% и расход энергии на 26,3–62,6% относительно запуска только большой модели. На Belebele и SIB-200 низкая уверенность действительно указывала на ответы, которые большая модель могла исправить. На MMLU-ProX-Lite сигнал сработал почти как случайный: показатель качества ранжирования составил 0,510 при 0,5 для случайного порядка, потому что маленькие модели часто уверенно ошибались.
Общее ранжирование запросов на разных языках распределяло доступ к большой модели неравномерно. Разрыв между языками доходил до 30,33 процентного пункта. Если выделять каждому языку одинаковую долю переадресаций, разрыв исчезал, а в семи из девяти сочетаний модели и задачи разница в общей точности оставалась в пределах погрешности.
Проверка охватила Qwen3, Gemma 3 и Llama 3.2 размером от 1 до 4 млрд параметров, английский, Bangla, Hindi и Urdu, а также три теста с выбором ответа. Замеры эффективности проводили на NVIDIA Tesla T4 с последовательной обработкой запросов, поэтому выводы относятся к такой схеме запуска, а не к пакетному обслуживанию или свободной генерации текста.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
