Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LAVOIR научили не угадывать решение по неполному сообщению, а выбирать недостающий факт и спрашивать о нём только тогда, когда ответ может изменить результат. В препринте Furkan Yilmaz, Habibe Aleyna Tasdemir и Muhammed Faruk Gozay, который не прошёл рецензирование, все числа получили сами авторы: при среднем бюджете не более 0,5 вопроса на диалог модель повысила точность на 14,1 процентного пункта против режима без вопросов. Для маршрутизации обращений это промежуточный вариант между рискованным ответом и постоянной передачей оператору.
В запрос вместе с вариантами решения добавляют поля, значения которых можно уточнить: например, продавца, тип проблемы или срок доставки. За один проход LAVOIR возвращает вероятности решений и для каждого поля оценивает, насколько ответ повысит вероятность правильного выбора. Если лучшая оценка превышает заданную цену вопроса, система отправляет привязанный к полю шаблон; полученный ответ добавляет в диалог и запускает следующий проход.
Для обучения не размечали полезность вопросов вручную. Правила схемы определяют правильное решение по полному профилю, LLM превращает частичные профили в сообщения и ответы, а модель другого семейства проверяет тексты. Несколько полных профилей для одного сообщения помогают оценить среднюю пользу скрытого факта. Отдельный ограничитель уменьшает ценность вопросов по мере роста уверенности модели, чтобы она не уточняла поля, которые уже не способны изменить решение.
На реальных диалогах ABCD один дополнительный обмен повысил точность на 8,3 процентного пункта в случаях, где LAVOIR решил спросить, и не изменил её там, где модель промолчала. На SGD ограничитель отсёк вопросы о полях, которые не могли повлиять на выбранный тип обращения. Это отличает оценку полезности от простого правила «спрашивать при низкой уверенности».
Проверка охватывала англоязычные схемы поддержки с синтетическими диалогами, отдельные незнакомые схемы и два набора реальных разговоров. На знакомых схемах точность совпала с теоретическим максимумом для доступного текста, но на новых осталась на 15 пунктов ниже него. Вопросы также ограничены заранее описанными полями и шаблонами, поэтому подход подходит прежде всего процессам, где варианты решения и недостающие данные можно формализовать.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
