Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модель с открытыми весами может выбирать из заданных вариантов и сразу возвращать вероятность каждого ответа, не генерируя текст. Работа Harvard University и Kempner Institute показала, что после короткой настройки такая модель обходит закрытую Jev, хотя препринт не рецензирован и все числа получили сами авторы. Для продукта это открывает простой путь к собственному маршрутизатору запросов, проверке правил или выбору инструмента без отдельной архитектуры.
Как получить решение из выходных оценок LLM
На вход модель получает состояние процесса, вопрос и набор вариантов. Например, состояние содержит обращение клиента, вопрос просит выбрать ответственную команду, а варианты перечисляют доступные направления.
Каждому варианту назначают букву от A до P. Модель читает запрос обычным образом, но вместо генерации ответа система берёт выходные оценки для этих букв в последней позиции. Эти оценки, которые называют логитами, показывают относительное предпочтение модели до пересчёта в вероятности.
Система оставляет только буквы доступных вариантов и нормализует их оценки так, чтобы сумма вероятностей стала равна единице. Весь набор получается за один проход модели. Для ответа «да» или «нет» используют две буквы, а для оценки по шкале — упорядоченный набор.
Этот приём работает без дополнительного обучения, поскольку языковая модель уже умеет отвечать буквами на вопросы с вариантами. При настройке авторы добавляют выходной слой решений, начальное состояние которого копируют из строк исходного выходного слоя для букв. Поэтому до обучения он ведёт себя так же, как базовая модель.
Основные веса замораживают, а внутрь слоёв добавляют компактные адаптеры LoRA. Вместе с ними обучают поправку к выходному слою, перемешивая варианты ответов, чтобы модель меньше привязывалась к их позиции. Обучающий пул содержит 417 825 вопросов из открытых наборов, синтетических деловых документов и примеров с вероятностными метками от других моделей.
Обучение занимает 400 шагов и около пяти GPU-часов для Gemma 4 31B. После него адаптеры можно объединить с основными весами, поэтому при работе по-прежнему нужен один проход.
Отдельный этап исправляет уверенность модели. Калибровка нужна, чтобы ответ с вероятностью 0,8 действительно оказывался правильным примерно в восьми похожих случаях из десяти. Авторы подбирают температуру отдельно для вопросов с выбором, ответов «да» или «нет» и оценочных шкал; предпочтительный вариант при этом не меняется.
Метод проверяли на Gemma 4 31B, Gemma 4 12B, Qwen3.6-27B и Qwen3.5-4B. Для проверки создали OpenDecisions из 2 352 вопросов: маршрутизация, деловые правила, многоязычные запросы, перестановка вариантов, арифметические ловушки и задачи с заранее известными вероятностями.
Что дали LoRA и калибровка
Без настройки Gemma 4 31B получила сводную оценку качества 79,6 против 80,1 у Jev. Эта оценка объединяет точность с поправкой на случайное угадывание и качество вероятностей: уверенная ошибка снижает результат сильнее, чем осторожная.
После настройки результат Gemma вырос до 84,4. На JevBench v1.7 модель получила 81,5 и обошла Jev на 4,4 пункта. На других открытых наборах точность была сопоставима с Jev, а вероятности лучше соответствовали фактической доле правильных ответов.
Разбор компонентов показал, что основную прибавку дают адаптеры LoRA, которые меняют внутренние представления модели. Обучение одного выходного слоя почти не помогает. Это важная деталь для реализации: сложная решающая голова не компенсирует модель, которая плохо извлекает нужный признак из входного состояния.
Долгое обучение тоже не стало преимуществом. Лучшие контрольные точки появлялись в начале, а затем качество снижалось главным образом из-за худшей калибровки. Для такой задачи короткая настройка служит не только способом сократить расходы, но и защитой от излишней уверенности.
Когда этот рецепт меняет архитектурный план
Подход подходит процессам, где набор действий известен заранее: направить обращение, выбрать модель или инструмент, проверить выполнение правила, назначить уровень риска. Система возвращает готовое распределение вероятностей, поэтому прикладной код может поставить порог, запросить ручную проверку или передать управление следующему шагу.
Для таких сценариев отдельная закрытая модель решений перестаёт быть обязательной отправной точкой. Команда может сначала проверить уже выбранную LLM без обучения, затем добавить LoRA на собственных примерах и только после этого решать, нужна ли специализированная архитектура.
Результат не переносится автоматически на свободную генерацию и задачи, где варианты действий появляются динамически. Реализация также рассчитана на буквенные метки от A до P, а вероятность может зависеть от порядка вариантов. Перемешивание при обучении снижает этот риск, но не доказывает полной независимости.
OpenDecisions преимущественно состоит из английских заданий, многие примеры созданы LLM, а связанная модель семейства Qwen участвовала в разметке части проверки. Поэтому перед внедрением придётся отдельно измерить точность и калибровку на реальных запросах продукта, особенно для других языков и отраслевых правил.
Работа не показывает, что обучение с подкреплением или специализированные модели больше не нужны. Она задаёт более дешёвую базовую линию: один проход открытой LLM, чтение оценок букв, температурная калибровка и при необходимости короткая настройка LoRA. Более сложный метод имеет смысл выбирать только после того, как он обойдёт эту схему на данных самого продукта.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
