Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Сервисного LLM-агента научили отвечать по правилам службы поддержки: ссылаться на данные, не обещать лишнего и передавать спорные вопросы сотруднику. В работе Imperial College London и Nanchang Institute of Technology экспертная оценка выросла с 5,86 до 7,74 балла при тех же инструментах. Для команд с уже работающим поиском и доступом к данным это аргумент в пользу дообучения модели вместо перестройки агента, хотя препринт не рецензировали и все числа получили сами авторы.
Правила поддержки превратили в обучающие примеры
NEIGHBOR построен на Qwen3-235B-A22B. Модель дообучили методом LoRA — он меняет небольшую часть параметров и требует меньше вычислений, чем полное обучение модели. В набор вошли 7 824 примера на китайском языке, составленные из открытых инструкций, справочных таблиц, уведомлений и ответов на частые вопросы.
Примеры учили модель шести видам поведения. Ответ должен признать проблему жителя, дать последовательные действия, отделить сведения из документов от общих советов, не обещать возврат или исправление без полномочий, заметить нехватку контекста и направить запрос нужному сотруднику.
Такое разделение важно для сервисного агента. База данных может показать задолженность, но не даёт модели права пообещать её списание; инструкция может описывать порядок ремонта, но не подтверждает срок конкретной заявки. NEIGHBOR учится проговаривать эту границу прямо в ответе.
Инструменты при этом не меняли. Агент ищет правила и контакты в документах, а сведения о платежах и истории обслуживания получает через запросы text-to-SQL. Валидатор сверяет таблицы и поля со схемой, запросы выполняются только на чтение и ограничены записями вошедшего в систему жителя.
Одна дообученная модель выполняет роли планировщика, автора ответа и генератора следующих вопросов. Она выбирает источник, объединяет найденные сведения и указывает, какой документ или период записи подтверждает конкретный факт.
Эксперт оценивал ответы, а не сам факт вызова инструментов
Системы ответили на 300 отложенных запросов, которые не использовали для обучения. Независимый отраслевой эксперт подробно проверил стратифицированную выборку из 50 запросов: в ней сохранили темы, уровни источников и долю задач, где требовалось рассуждение в несколько шагов.
Сравнение охватывало модели без инструментов, исходный Qwen с документами и базой, а также варианты NEIGHBOR с разными каналами данных. Главная пара отличалась только дообучением: исходный агент и NEIGHBOR-Full использовали одинаковый поиск и одинаковый доступ к записям.
Эксперт оценивал полезность, уместность обещаний, отсутствие выдуманных фактов, краткость, полноту найденных сведений и то, признаёт ли ответ обеспокоенность жителя. Дообученный агент набрал 7,74 балла против 5,86 у исходного; разница статистически значима. Он улучшил все оцениваемые стороны ответа, а ни один вариант с инструментами не получил критического флага за выдуманные правила, контакты, превышение полномочий или нарушение приватности.
Проверка остаётся узкой по контексту: это офлайн-оценка китайскоязычной системы для муниципальных услуг одного городского района. Работа сравнивает конфигурации внутри одной платформы и не показывает, что те же обучающие цели дадут такой же прирост в банковской поддержке, электронной торговле или корпоративном помощнике.
Что меняется в планах продуктовой команды
Работа меняет порядок улучшения агента. Если документы и записи уже дают правильные факты, а ответы всё равно звучат расплывчато, обещают действия вне полномочий или плохо объясняют следующий шаг, сначала стоит проверить дообучение на примерах нужного поведения. Замена поиска, базы или всей модели может не затрагивать источник ошибки.
Обучающий набор следует строить не вокруг общего требования «отвечать качественно», а вокруг проверяемых ограничений. Для службы поддержки это означает отдельно размечать ссылки на доказательства, допустимые обещания, условия передачи человеку и порядок действий. Затем нужен парный тест: одна и та же модельная архитектура и те же инструменты до и после адаптации.
Автоматическую оценку также придётся связать с реальными источниками агента. В работе модель-оценщик ставила ответам с инструментами на 1–2 балла меньше, потому что считала выдумкой конкретные сведения, которых не было в эталонном ответе, хотя их возвращали документы или записи. Из-за этого она выбрала другую лучшую конфигурацию, чем отраслевой эксперт.
Одного эталонного текста для такого теста недостаточно. Оценщик должен получать найденные фрагменты и результаты запросов либо следовать правилу, которое разрешает проверяемые дополнения. Иначе улучшение доступа к данным выглядит как рост числа ошибок именно потому, что агент сообщает больше подтверждённых деталей.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
