Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM научили принимать решения без генерации цепочки ответа и сразу выдавать вероятность каждого допустимого варианта. На Gemma-4-31B этот режим сократил медианную задержку в 182 раза по сравнению с ответом через рассуждение, хотя препринт не рецензирован и все числа получили сами авторы. Для продуктов с большим потоком классификаций это предлагает промежуточную архитектуру между отдельным классификатором и полным вызовом генеративной модели.
Решение считывают из уже рассчитанного состояния модели
Обычная LLM сначала параллельно обрабатывает вход, а затем последовательно генерирует ответ. Для маршрутизации обращения или оценки серьёзности инцидента второй этап часто нужен только ради одного слова, но всё равно добавляет задержку и расход токенов.
Chen и коллеги называют альтернативу Large Decision Model. Модель получает контекст, правило и набор вариантов, заданный во время вызова. После одного прохода система берёт состояние на последней позиции, оставляет оценки только для токенов допустимых вариантов и нормализует их в распределение вероятностей.
Набор классов не зашит в отдельную выходную головку. Одна модель может выбирать между категориями поддержки, уровнями риска или ответами «да» и «нет», если их смысл описан во входе. Для адаптации авторы обучают LoRA-адаптер: он меняет небольшую часть параметров модели, но затрагивает её внутренние представления, а не только последний слой.
Обучение состоит из двух частей. Diverse Decision Supervision добавляет задачи с разными предметными областями, правилами и значениями меток. Self-Posed Reasoning Distillation использует замороженную модель-учителя: она придумывает задачи, несколько раз решает их с рассуждением, а ученик получает распределение голосов по ответам, но не сами цепочки рассуждения.
Метод проверяли на нескольких базовых моделях семейств Qwen и Gemma. DecisionVista-Synth содержит ранее не использованные схемы решений, а DecisionVista-Human — размеченные людьми задачи из восьми источников, исключённых из обучающих смесей. В работу входят выбор категории, бинарные решения и порядковые оценки, поэтому результаты относятся к решениям с заранее заданным конечным набором вариантов.
Выигрыш в качестве невелик, в задержке — на два порядка
Совместное обучение на разнообразных схемах и ответах учителя обошло базовую настройку с тем же числом шагов на 1,8 процентного пункта в синтетическом тесте и на 1,5 пункта в тесте с человеческой разметкой. Процентный пункт здесь означает разницу долей правильных ответов, а не относительный рост; обе разницы статистически значимы.
Основной практический результат даёт отказ от последовательной генерации. На старшей Gemma медианная задержка снизилась с 7,38 секунды до 40,6 миллисекунды при запуске на двух H100. Этот замер относится к конкретной модели, оборудованию и способу обслуживания, поэтому его нельзя напрямую переносить на другой стек.
Однопроходный режим всё ещё уступает рассуждению на новых схемах. Дистилляция сокращает разрыв, но не устраняет его: точные многошаговые вычисления остаются подходящими кандидатами для более дорогого пути.
Планы меняет не классификатор, а маршрутизатор
Авторы предлагают оставить оба режима. Система сравнивает две наиболее вероятные метки: если разрыв велик, принимает быстрый ответ, а если мал — передаёт задачу исходной модели для одного ответа с рассуждением. Порог заранее подбирают на проверочном наборе, поэтому маршрутизатор не требует отдельного обучения.
На наборах для разработки такая схема вернула медианные 92% преимущества рассуждения по качеству, но сгенерировала лишь 27–58% его токенов. Это не гарантирует такую же экономию в конкретном продукте: доля сложных случаев зависит от входящего потока, а стоимость одного прохода остаётся даже для решений, которые маршрутизатор принимает сразу.
Для команды с большим числом меняющихся классификационных схем работа предлагает заменить полный генеративный вызов на общий слой принятия решений. Он возвращает явное распределение по вариантам, позволяет установить порог уверенности и не требует обучать отдельную выходную головку для каждого нового набора меток.
Метод не подключается поверх любого закрытого API: для него нужен доступ к оценкам токенов и возможность обучить LoRA-адаптер. Если классы фиксированы, задача узкая, а обычный классификатор уже укладывается в требования по качеству и задержке, работа не даёт причины менять стек. Наибольший смысл подход имеет там, где схемы решений часто меняются, но ответы всё равно сводятся к небольшому набору допустимых вариантов.
Явные вероятности также не следует считать готовой оценкой риска. В эксперименте порог и температурную калибровку настраивали на отдельной проверочной выборке. В рабочей системе потребуется собственный набор данных, который отражает реальные ошибки и цену неверной маршрутизации.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
