Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Более высокий результат при большем вычислительном бюджете не показывает, стоит ли тратить дополнительные деньги на модель, поиск или вычисления при ответе. К такому выводу пришёл Seyed Morteza Emadi в критическом обзоре, который не прошёл рецензирование, а все числа получил сам автор. Один показательный разрыв: система может найти верный вариант среди 100 ответов, но продукт всё равно должен выбрать и вернуть один.
Обзор сопоставляет исследования предобучения, вычислений во время ответа, поиска по внешним данным и агентных систем. В них повторяются три несоответствия: успех считают до выбора итогового ответа, системе дают сведения, которых не будет при эксплуатации, или исключают из сравнения часть расходов.
Чтобы отделить локальный рост метрики от решения о бюджете, работа предлагает описывать качество через ресурсы, способ их использования и доступную информацию. Дополняет эту схему «паспорт ресурсов»: в нём фиксируют задачу, расходы на разработку и работу системы, доступ к данным, правила выбора ответа и остановки. Такой паспорт позволяет сравнивать не отдельные вызовы модели, а полные процедуры.
В разобранном примере адаптивная стратегия тратила до четырёх раз меньше вычислений, чем многократная генерация с выбором лучшего ответа, при одинаковой точности. Однако в расчёт не вошли предварительная оценка сложности каждого запроса и обучение модулей, которые проверяли и исправляли ответы. Поэтому результат подтверждает экономию внутри выбранной методики учёта, но не определяет полную стоимость эксплуатации.
Работа представляет собой критический, а не систематический обзор или метаанализ. Она разбирает выбранные исследования LLM-систем с разными задачами и правилами учёта, поэтому не выводит общий коэффициент масштабирования. Аналитические примеры показывают, как метрика, объём запросов, выбор ответа и правило остановки могут изменить решение, но не называют универсально лучшую конфигурацию.
Перед перераспределением бюджета команде нужно сравнить системы по ответу, который увидит пользователь, дать им одинаково допустимую информацию и учесть разработку, настройку, индексы, проверяющие модули и стоимость работы на плановом объёме. Если хотя бы одно условие расходится, рост метрики указывает на следующий эксперимент, а не на готовое решение о закупке ресурсов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
