Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модели с сопоставимым качеством могут расходовать на один и тот же тест в десятки раз разное количество энергии. В препринте University of Oxford, который не рецензировали и где числа получили сами авторы, максимальная разница достигла 27 раз. Поэтому место в рейтинге ещё не показывает, во что обойдётся эксплуатация модели.
Zeyu Yang и Wes Armour проверили 86 моделей с открытыми весами на семи наборах задач: от следования инструкциям и математики до программирования и работы с инструментами. Модели запускали на шести аппаратных платформах — от потребительской GPU до сервера — через vLLM с непрерывной пакетной обработкой и постоянной очередью запросов.
Энергию измеряли непосредственно на ускорителях во время прохождения тестов. Затем для каждого уровня качества искали конфигурации на границе Парето: модель попадала туда, если никакая другая не давала не худший результат при меньших энергозатратах. Большинство конфигураций осталось за этой границей, то есть для них нашлась как минимум столь же точная и более экономная альтернатива.
Режим рассуждения в среднем увеличивал расход энергии в 3,7 раза, но прирост качества зависел от семейства модели и допустимой длины ответа. Число сгенерированных токенов тоже не заменяет прямой замер: модели могут менять порядок по эффективности из-за формата весов, оборудования и условий обслуживания. Варианты весов FP8, напротив, сокращали расход примерно на четверть без измеримого изменения среднего результата.
Замеры описывают работу под высокой постоянной нагрузкой и учитывают энергию ускорителей, а не всей серверной инфраструктуры. Для продуктового расчёта нужно повторять сравнение на своей длине запросов и ответов, режиме рассуждения, оборудовании и ожидаемой загрузке. Универсального показателя «энергия на токен» для модели здесь недостаточно.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
