Журнал · Rit.work

Агент учится у закрытой LLM через диалог и работает без наставника

Метод COPD позволяет модели перенимать навыки закрытой LLM через естественный язык, а затем решать многошаговые задачи без доступа к учителю.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Модель меньшего размера научили перенимать навыки закрытой LLM через обычный диалог, а затем применять их без помощи наставника. В препринте Lirui Luo и соавторов, который не прошёл рецензирование и содержит их собственные замеры, метод COPD дал в 2,46 раза больший прирост на CAMG-II, чем сильнейший сравниваемый метод. Для команд это открывает путь к обучению агентов у внешней модели через текстовый API, без доступа к её внутренним оценкам вероятностей.

Ученик сам решает, когда просить помощи

Обычная дистилляция на данных текущей стратегии агента использует внутренние оценки учителя: с какой вероятностью тот выбрал бы каждый следующий токен. Такие данные помогают ученику перенять не только готовый ответ, но и распределение предпочтительных вариантов. Однако текстовые модели, доступные как чёрный ящик, обычно возвращают через API только сгенерированный текст.

COPD заменяет внутренние оценки общением на естественном языке. Во время выполнения многошаговой задачи модель-ученик сама выбирает момент для консультации и формулирует запрос более сильной модели. Авторы не задают заранее ни шаблоны вопросов, ни расписание вмешательств учителя.

Это отличает подход от схемы, в которой разработчик вручную определяет проблемные этапы и добавляет подсказки. Ученик должен распознать, что оказался в затруднении, определить недостающую информацию и запросить её в форме, пригодной для продолжения работы.

Успешные диалоги сохраняют как привилегированные эталонные примеры. Затем ученик проходит новые траектории уже без советника и обучается на этих примерах с помощью самодистилляции. Параллельно обучение с подкреплением поощряет действия, которые приводят к выполнению задачи.

Учитель поэтому нужен во время подготовки данных, но не становится обязательной частью рабочего контура. Если навык действительно закрепился, развёрнутый агент не должен обращаться к более дорогой или закрытой модели при каждом запуске.

Диалог превращается в навык без доступа к советнику

Основное сравнение провели на CAMG-II. Полученный коэффициент описывает разницу в приросте между методами, а не означает, что итоговая доля решённых задач выросла во столько же раз. Абстракт не раскрывает исходные значения метрики, поэтому по нему нельзя оценить абсолютное качество агента или перевести результат в число дополнительно выполненных задач.

После обучения возможности проверили на Terminal-Bench 2.1 и SWE-Bench Pro V2. На обоих наборах ученик чаще доводил задачи до успеха без доступа к советнику. Это существенная часть результата: модель не просто повторяла сохранённые ответы учителя в исходной среде, а использовала усвоенный способ действий в других задачах, связанных с терминалом и разработкой программ.

Абстракт связывает перенос с обучением на новых самостоятельных траекториях. Ученик получает успешный диалог как ориентир, но должен заново выполнить задачу своими действиями. За счёт этого объектом обучения становится не отдельная реплика наставника, а поведение агента после консультации.

Проверка охватывает один основной набор и два набора для переноса на задачи разработки; поскольку материал подготовлен по абстракту, из него нельзя восстановить устройство эксперимента, состав моделей и процедуру оценки. Результат поэтому показывает работоспособность схемы в заявленных средах, но не позволяет сравнить её по затратам на обучение или числу обращений к учителю.

Планы стоит менять на уровне эксперимента, а не архитектуры

Работа ослабляет одно практическое ограничение: для дистилляции больше не обязательно выбирать учителя, который отдаёт внутренние оценки токенов. В качестве наставника можно рассматривать закрытую модель с обычным текстовым API, если она умеет разбирать ход задачи и давать полезные ответы на открытые вопросы.

Для продуктовой команды это не готовая замена действующему агенту, а основание проверить новый контур обучения. Понадобится собирать успешные взаимодействия ученика с учителем, автоматически определять результат выполнения задачи и запускать новые самостоятельные траектории. Без надёжной награды за выполненную работу схема не получает сигнала, какие консультации стоит сохранять.

Особенно уместен такой эксперимент там, где агент выполняет длинные последовательности действий, а постоянные обращения к сильной модели нежелательны. COPD разделяет консультацию и эксплуатацию: закрытая LLM помогает сформировать навык во время обучения, после чего меньшая модель действует самостоятельно.

Менять основной стек только по этому препринту рано. Но если проект уже планирует обучать собственного агента на задачах с проверяемым итогом, отсутствие доступа к внутренним данным модели-учителя больше не выглядит принципиальным препятствием. Текстовый диалог можно рассматривать не только как подсказку во время работы, но и как материал для последующего обучения автономного агента.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу