Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Маленькая модель, которая ночью доучивается на дневных диалогах, начинает портиться, если принимает вежливость пользователя за подтверждение успеха. В нерецензированном препринте Sirisilp Kongsilp, где числа получены самим автором, ошибочный отбор разрушил три из пяти прогонов. Значит, в контуре непрерывного обучения нужен проверяемый сигнал, а не только реакция клиента.
Как реакция пользователя превращалась в урок
В эксперименте агент решал задачи днём, а ночью дообучал адаптер LoRA на принятых попытках. Базовая модель оставалась неизменной: новые навыки хранились в небольшом наборе дополнительных весов, который проще обновлять на устройстве.
Главной переменной был не способ обучения, а судья, который решал, какие попытки считать успешными. Эту роль поочерёдно выполняли истинный результат задачи, явно выраженный вердикт пользователя, сама модель и отдельный замороженный интерпретатор обратной связи.
Интерпретатор видел запрос, следующую реплику и дальнейшее действие пользователя, но не видел ответ агента и фактический результат. Он должен был отличить ясное одобрение от молчания, сарказма, уступки и благодарности за старание. Если реакция оставалась неоднозначной, система могла отказаться от оценки и не добавлять попытку в обучение.
Проверяли Qwen3 на 0,6 и 1,7 млрд параметров в WebShop и τ2-bench. Эксперимент охватил свыше сотни отдельных прогонов длительностью до года. В WebShop пользователь мог понять, куплен ли нужный товар; в τ2-bench клиент видел разговор, но не состояние базы данных и потому не всегда знал, выполнена ли операция.
Все пользователи были смоделированы, а версии судей лишь воспроизводили общие принципы существующих методов в одном контуре обучения. Поэтому результаты показывают механизм накопления ошибок, но не служат прямым сравнением готовых систем.
Ошибочный урок опаснее пропущенного
Когда модель оценивала собственную работу, её качество сначала росло, а затем снижалось. Изменение устройства адаптера не устранило этот эффект: вчерашние ошибки попадали в обучение и влияли на то, какие попытки модель принимала на следующий день.
Отдельный интерпретатор работал устойчивее, когда сначала проверял, содержит ли реакция пользователя ясный вердикт. Однако к 60-му дню его результат опустился до уровня самостоятельной оценки. Принятые уроки оставались в основном корректными, но поступали редко — около двух за день, поэтому прежние навыки постепенно вытеснялись.
Более жёсткий сбой возник в τ2-bench. Пользователь благодарил агента, не видя, изменилась ли запись в базе, и 80% отобранных уроков оказались неудачными попытками. Интерпретатор правильно прочитал благодарность, но сама благодарность ничего не говорила о результате.
Доля неудач среди принятых уроков была тесно связана с итогом прогона: коэффициент ранговой связи Спирмена составил −0,81. Чем чаще ошибка становилась учебным примером, тем хуже заканчивался цикл. Количество собранных примеров объясняло результат слабее, чем их чистота.
Даже верные примеры не гарантировали сохранения всех навыков. В многодоменных задачах агент чаще учился на тех сценариях, где уже справлялся лучше, а остальные направления получали меньше практики. Такой поток может не только улучшать сильную сторону, но и сужать набор рабочих навыков.
Что меняется в планах продуктовой команды
Работа не даёт оснований включать автоматическое дообучение на всех положительных реакциях. Оценка, звёзды, благодарность или завершение диалога становятся пригодным сигналом лишь тогда, когда пользователь мог проверить результат.
- Разделять реакцию и исход. Для покупки, бронирования или изменения записи полезнее подтверждённая операция, возврат, отмена или результат проверки, чем текстовая похвала.
- Разрешать системе воздерживаться. Неясную реакцию безопаснее пропустить, чем превратить в положительный пример.
- Смешивать источники уроков. Пользовательскую обратную связь стоит дополнять результатами, которые система может проверить автоматически.
- Балансировать повторение. В наборе для очередного дообучения должны оставаться разные типы задач, иначе модель закрепит то, что уже умеет, и потеряет перенос навыков.
Для локального агента идея ночного дообучения остаётся практичной: адаптер можно обновлять без передачи всей истории на центральный сервер. Но ключевым компонентом становится не обучение как таковое, а контур отбора. Если продукт не может надёжно связать действие модели с наблюдаемым исходом, безопаснее хранить обратную связь для последующего анализа, а не сразу менять по ней веса.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



