Журнал · Rit.work

Вежливость портит модель: риск дообучения на отзывах пользователей

Эксперимент с Qwen3 показывает, что непрерывное дообучение помогает лишь тогда, когда система отличает проверенный успех от вежливой реакции на ошибку.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Маленькая модель, которая ночью доучивается на дневных диалогах, начинает портиться, если принимает вежливость пользователя за подтверждение успеха. В нерецензированном препринте Sirisilp Kongsilp, где числа получены самим автором, ошибочный отбор разрушил три из пяти прогонов. Значит, в контуре непрерывного обучения нужен проверяемый сигнал, а не только реакция клиента.

Как реакция пользователя превращалась в урок

В эксперименте агент решал задачи днём, а ночью дообучал адаптер LoRA на принятых попытках. Базовая модель оставалась неизменной: новые навыки хранились в небольшом наборе дополнительных весов, который проще обновлять на устройстве.

Главной переменной был не способ обучения, а судья, который решал, какие попытки считать успешными. Эту роль поочерёдно выполняли истинный результат задачи, явно выраженный вердикт пользователя, сама модель и отдельный замороженный интерпретатор обратной связи.

Интерпретатор видел запрос, следующую реплику и дальнейшее действие пользователя, но не видел ответ агента и фактический результат. Он должен был отличить ясное одобрение от молчания, сарказма, уступки и благодарности за старание. Если реакция оставалась неоднозначной, система могла отказаться от оценки и не добавлять попытку в обучение.

Проверяли Qwen3 на 0,6 и 1,7 млрд параметров в WebShop и τ2-bench. Эксперимент охватил свыше сотни отдельных прогонов длительностью до года. В WebShop пользователь мог понять, куплен ли нужный товар; в τ2-bench клиент видел разговор, но не состояние базы данных и потому не всегда знал, выполнена ли операция.

Все пользователи были смоделированы, а версии судей лишь воспроизводили общие принципы существующих методов в одном контуре обучения. Поэтому результаты показывают механизм накопления ошибок, но не служат прямым сравнением готовых систем.

Ошибочный урок опаснее пропущенного

Когда модель оценивала собственную работу, её качество сначала росло, а затем снижалось. Изменение устройства адаптера не устранило этот эффект: вчерашние ошибки попадали в обучение и влияли на то, какие попытки модель принимала на следующий день.

Отдельный интерпретатор работал устойчивее, когда сначала проверял, содержит ли реакция пользователя ясный вердикт. Однако к 60-му дню его результат опустился до уровня самостоятельной оценки. Принятые уроки оставались в основном корректными, но поступали редко — около двух за день, поэтому прежние навыки постепенно вытеснялись.

Более жёсткий сбой возник в τ2-bench. Пользователь благодарил агента, не видя, изменилась ли запись в базе, и 80% отобранных уроков оказались неудачными попытками. Интерпретатор правильно прочитал благодарность, но сама благодарность ничего не говорила о результате.

Доля неудач среди принятых уроков была тесно связана с итогом прогона: коэффициент ранговой связи Спирмена составил −0,81. Чем чаще ошибка становилась учебным примером, тем хуже заканчивался цикл. Количество собранных примеров объясняло результат слабее, чем их чистота.

Даже верные примеры не гарантировали сохранения всех навыков. В многодоменных задачах агент чаще учился на тех сценариях, где уже справлялся лучше, а остальные направления получали меньше практики. Такой поток может не только улучшать сильную сторону, но и сужать набор рабочих навыков.

Что меняется в планах продуктовой команды

Работа не даёт оснований включать автоматическое дообучение на всех положительных реакциях. Оценка, звёзды, благодарность или завершение диалога становятся пригодным сигналом лишь тогда, когда пользователь мог проверить результат.

  • Разделять реакцию и исход. Для покупки, бронирования или изменения записи полезнее подтверждённая операция, возврат, отмена или результат проверки, чем текстовая похвала.
  • Разрешать системе воздерживаться. Неясную реакцию безопаснее пропустить, чем превратить в положительный пример.
  • Смешивать источники уроков. Пользовательскую обратную связь стоит дополнять результатами, которые система может проверить автоматически.
  • Балансировать повторение. В наборе для очередного дообучения должны оставаться разные типы задач, иначе модель закрепит то, что уже умеет, и потеряет перенос навыков.

Для локального агента идея ночного дообучения остаётся практичной: адаптер можно обновлять без передачи всей истории на центральный сервер. Но ключевым компонентом становится не обучение как таковое, а контур отбора. Если продукт не может надёжно связать действие модели с наблюдаемым исходом, безопаснее хранить обратную связь для последующего анализа, а не сразу менять по ней веса.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу