Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Внутреннюю языковую модель научили улучшаться на собственных ошибках после запуска в службе поддержки. В препринте Yanbei Jiang и соавторов, который не прошёл рецензирование и содержит замеры самих авторов, внутренняя модель сравнялась с GPT-5.4 по удовлетворённости пользователей в онлайн-сравнении. Но такой цикл требует отдельной системы контроля качества, а не только обучения модели.
Сначала находят компонент, который действительно ошибся
CARE строит повторяющийся цикл: текущая модель обслуживает часть обращений рядом с действующей проприетарной моделью, а её подтверждённые ошибки становятся материалом для следующего обновления. После первого обучения на исторических диалогах система больше не зависит от новых ответов исходной модели как от обучающих примеров.
Диалоги проверяют непрерывно. Решения проверяющих получают независимо, а вывод об ошибке связывают с наблюдаемыми свидетельствами: перепиской, вызовами инструментов и изменениями состояния заказа. Если агент написал, что отменил заказ, проверка смотрит, произошло ли это действие в системе, а не доверяет тексту ответа.
Подтверждённую проблему не отправляют в обучение автоматически. Сначала CARE определяет причину: модель неверно выбрала действие, рабочая инструкция Skill/SOP содержит дефект, инструмент вернул неправильный результат, исполнительная обвязка передала неверные данные или нарушилась инфраструктура.
Ошибки вне модели направляют владельцам соответствующего компонента. Это защищает обучение от ложных примеров: модель не должна запоминать обход неисправного инструмента или компенсировать противоречие в инструкции.
Если виновата модель, диалог обрезают на первом неверном решении. Для этого места составляют минимальное исправление, проверяют его и сохраняют вместе с диагнозом. Последующие реплики не используют, потому что после первой ошибки разговор уже развивается по состояниям, которых при правильном решении не возникло бы.
Учитель и ученик используют одну модель, но видят разные данные
Обновление проходит через самодистилляцию на действиях самой модели. Ученик получает исходный контекст и продолжает диалог так же, как в рабочей среде. Учитель использует те же параметры, но дополнительно видит диагноз и проверенное исправление.
Ученику эти подсказки не передают ни во время генерации, ни при оценке. Он учится приближать свои вероятности следующих токенов к распределению учителя, который знает, где возникла ошибка. Поэтому улучшение приходит не из самостоятельной критики модели, а из внешне проверенного разбора конкретного решения.
CARE учитывает, что правила поддержки меняются независимо от выпуска модели. В обучающий набор входят ошибки, собранные при разных версиях Skill/SOP, причём каждый диалог оценивают по инструкции, которая действовала в тот момент. Модель должна следовать правилам из текущего контекста, а не закреплять одну версию политики в параметрах.
Цикл нельзя считать автономным. Внешняя проприетарная модель участвует в проверке диалогов, определении причины и подготовке исправлений; владельцы компонентов устраняют системные дефекты, а человек одобряет выпуск. Самоулучшение здесь означает, что опыт и учитель происходят от обновляемой модели, но достоверность сигнала обеспечивает внешний контур.
Допуск версии важнее самого способа обучения
Для каждой новой версии из актуальной Skill/SOP собирают исполняемый симуляционный тест и затем фиксируют его. Кандидат ведёт разговоры, вызывает инструменты и меняет состояние смоделированной бизнес-системы. Полученные диалоги отдельно проверяют на ошибки.
Версия проходит дальше, только если сочетание результатов симуляции и проверки не хуже уже развёрнутой модели. Затем её сравнивают с GPT-5.4 на реальном трафике и передают человеку на утверждение. Диалоги для обучения не попадают в тесты, поэтому модель не получает преимущество от запоминания разобранных случаев.
Систему проверяли в многоязычной поддержке доставки еды в семи регионах на внутренней модели с 31 млрд параметров. Доля подтверждённых проблемных диалогов снизилась с 6,42% до 1,97%, тогда как у GPT-5.4 она составила 4,60%.
Границы результата задаёт сама производственная схема. Симулятор воспроизводит правила и состояние заказа, но не служит цифровым двойником поведения пользователей. Тест также отражает только актуальную версию Skill/SOP, а изменения исполнительной обвязки происходили вместе с обновлениями модели, поэтому весь накопленный эффект нельзя приписать одним весам.
Для команд такая работа меняет план проекта: замена внешней модели становится не разовым дообучением, а постоянным процессом эксплуатации. До обучения потребуются журналирование диалогов и действий, версии инструкций, воспроизведение сбоев, независимая проверка, маршрутизация дефектов и критерии выпуска.
Если этот контур уже существует, CARE даёт практическую схему перехода к внутренней модели без немедленного отключения действующей. Если команда пока не может доказать, что ошиблась именно модель, автоматическое обучение на рабочих диалогах скорее закрепит дефекты окружающей системы.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
