Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агента для B2B-закупок научили осваивать новые инструменты и процедуры без заметного отката уже принятых возможностей. В препринте, который не проходил рецензирование и приводит числа, полученные самими авторами, управляемое обновление подняло совокупную оценку качества с 0,8810 до 0,9288 по сравнению с неизменной системой награды. Для продуктовой команды это превращает дообучение из отдельного задания в контролируемый выпуск новой версии модели.
Как рабочие запросы превращают в данные для обучения
G-CAST работает в Yuancai — агенте для закупщиков на оптовой площадке Alibaba 1688. По мере развития продукта агент получил новые режимы работы, инструменты поиска, навыки, доступ к файлам и более длинные процедуры. Авторы называют требования к доступному контексту, действиям и порядку их выполнения контрактом возможностей.
Такое расширение создаёт сразу три рассогласования. Модель может не понимать, когда применять новый инструмент. Старые данные почти ничего не говорят о новой функции. Прежняя система награды способна одобрить неправильное поведение или наказать действие, которое стало допустимым после обновления продукта.
G-CAST поэтому считает единицей изменения не завершённое обучение, а переход между версиями модели. Система хранит вместе принятую версию, контракт возможностей, исполняемые правила оценки, обучающие примеры и журнал предыдущих проверок.
Для каждого рабочего запроса принятая модель создаёт восемь вариантов выполнения. Если все варианты провалились и есть проверенный правильный ответ, запрос направляют в обучение по примерам. Если среди вариантов есть удачные и неудачные, его используют для обучения с подкреплением: модель учится различать действия по итоговой награде. Стабильно успешные запросы оставляют для контроля отката качества.
Внутри каждой группы примеры ранжируют по энтропии токенов — мере неуверенности модели при выборе следующего фрагмента ответа. Награда определяет, как использовать запрос, а неуверенность помогает выбрать наиболее полезные примеры при ограниченном бюджете обучения. Это разделение важно: неуверенный ответ не обязательно ошибочен, а уверенный не обязательно правилен.
Почему вместе с моделью приходится обновлять награду
Исполняемая награда проверяет формат вызовов инструментов, опору ответа на найденные сведения, выбор нужного навыка и соблюдение предписанной процедуры. Когда контракт возможностей меняется, G-CAST сначала проверяет, остаются ли эти правила надёжными. При подозрении на ошибку обучение останавливается.
Аудит ответов с высокой наградой обнаружил два характерных сбоя. В группе с неправильным использованием результатов поиска доля ложноположительных оценок достигла 84%, а в группе с выдуманными сущностями — 82%. Агент мог вызвать подходящий поиск, а затем добавить отсутствующие в выдаче идентификаторы предложений, ссылки, цены или телефоны.
После такого сбоя команда меняет не абстрактную подсказку для модели, а исполняемое правило оценки. Новая версия должна пройти целевые проверки, повторную оценку известных траекторий, контроль правильных старых ответов и пробный запуск. Только затем она может влиять на отбор данных и обучение.
В диагностическом эксперименте все варианты начинали с одной модели и использовали одинаковые данные. Неизменная награда, однократно дополненная награда и управляемая награда различались только порядком обновления правил. В последнем варианте точность выбора требуемого навыка выросла с 0,6867 до 0,8667 относительно неизменной награды. Однократно добавить новые критерии оказалось недостаточно: преимущество появилось, когда каждое изменение проходило повторные проверки.
Кандидата на выпуск обучают от неизменной принятой версии. Затем его проверяют одновременно на новых запросах и на всех ранее сохранённых наборах задач. Если новая функция улучшилась ценой старой, версия не заменяет рабочую модель, а сведения об откате попадают в журнал следующего цикла.
Когда G-CAST меняет план разработки агента
Подход имеет смысл, если инструменты и рабочие процедуры агента меняются вместе с продуктом. В такой системе недостаточно запланировать периодическое дообучение: нужно версионировать контракт возможностей, данные, правила награды и критерии допуска модели. Иначе команда не сможет отличить улучшение модели от ошибки в оценке или несовместимости с новой обвязкой.
Работа также показывает, где оставить ручной контроль. Люди не обязаны проверять каждый запрос, но должны утверждать правильные цели для полностью неудачных случаев, разбирать подозрительные оценки и задавать набор старых возможностей, которые нельзя потерять. В эксплуатации Yuancai такой порядок сократил трудозатраты на аудит награды с двух человеко-дней до 30 минут на цикл.
Эксперименты охватывают четыре последовательных периода развития одного промышленного агента и одну основную семью моделей. G-CAST сравнивали с AutoTrainess, который автоматизирует дообучение под фиксированную цель, а отдельные части системы — с неизменной и обновляемой без проверок наградой. Поэтому работа подтверждает архитектуру процесса для Yuancai, но сама по себе не доказывает, что те же пороги и правила перенесутся на другой тип агента.
Практический сдвиг состоит не в новом алгоритме обучения, а в границе выпуска. Если агент выполняет бизнес-процессы через меняющийся набор инструментов, принимать следует согласованный комплект из модели, контракта и награды. Обученная модель становится лишь кандидатом, пока не подтвердит новые навыки и не сохранит старые.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



