Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научили переносить исправления из неудачных взаимодействий в собственные параметры и использовать их без исходной подсказки. В нерецензированном препринте команды Workbuddy Team, Tencent и университетов собственные замеры авторов показывают, что LoCD обошёл сильнейшие базовые методы на математике, коде и задачах для агентов. Для систем, которые дообучаются на журналах работы, это промежуточный путь между полным переписыванием траектории учителем и обучением только на уже доступном модели поведении.
Почему обучение на целой траектории даёт две разные ошибки
Дистилляция контекста строится на двух версиях одной модели. Учитель получает дополнительную информацию из прошлого взаимодействия: отзыв пользователя, результат выполнения инструмента, эталонное решение или извлечённую подсказку. Ученик этой информации не видит и учится повторять распределение ответов учителя.
Если учитель полностью создаёт исправленную траекторию, ученик получает готовый образец нового поведения. Но при реальной работе ему приходится продолжать собственные ответы и действия, а не последовательность учителя. Несовпадение обучающих и рабочих состояний создаёт смещение: ошибка в начале длинной цепочки уводит модель туда, где она не обучалась.
Обучение только на траекториях ученика решает эту проблему, но создаёт другую. Учитель оценивает следующий токен после префикса, который уже написал ученик. Если нужное поведение ни разу не возникло в его попытках, полезный префикс для поздних шагов тоже не появляется, поэтому модель осваивает длинное исправление последовательно и медленно.
Это особенно заметно на полностью проваленных задачах. Учитель с дополнительным контекстом уже способен дать правильное продолжение, однако обучение на траектории ученика почти не переносит это поведение. Полная траектория учителя переносит его лучше, но возвращает проблему несовпадающих состояний.
Как LoCD находит место для вмешательства учителя
LoCD начинает с траектории самого ученика и ищет непрерывный участок, который требуется пересмотреть. Для этого ту же модель вызывают с отдельной инструкцией: она связывает ошибочный фрагмент с конкретной информацией из отзыва или результата взаимодействия. Если в одной траектории найдено несколько участков, каждый становится отдельным обучающим примером.
Префикс до ошибки остаётся без изменений. Учитель получает этот префикс вместе с целевой подсказкой и заново создаёт только критический участок. Ученика обучают сближать распределение следующего токена с распределением учителя лишь внутри исправленного фрагмента; продолжение всей траектории в функцию потерь не входит.
Так обучающие состояния остаются рядом с теми, куда модель действительно попадает сама. При этом внутри проблемного участка появляется поведение, которого ученик ещё не умеет воспроизводить. В варианте, где учитель переписывал всё продолжение после найденной точки, результат оказался хуже: дополнительный объём обучения не компенсировал уход от траектории ученика.
Проверка охватывала математические рассуждения, генерацию кода, WebShop, ALFWorld и задачи разработки программ. LoCD сравнивали с дистилляцией на траекториях ученика и учителя. Преимущество над сильнейшей базовой схемой составило 5,65% на математике, 2,65% на коде, 5,60% в WebShop и 7,46% в ALFWorld.
Во время обучения базовые схемы постепенно сужали распределение возможных токенов. У LoCD такого устойчивого падения энтропии не наблюдалось. Замена точки исправления случайной, передача учителю всей исходной истории и обучение на полном продолжении также уступили основной схеме.
Для продукта это отдельный контур обучения, а не смена архитектуры
Работа меняет планы команд, которые уже сохраняют траектории агентов и могут получать содержательную обратную связь. Вместо накопления всех удачных и неудачных сессий для поиска во время ответа можно проверить перенос исправлений в параметры модели. На этапе выполнения исходная история и извлечённая подсказка тогда не нужны.
Практический контур состоит из сбора неудачной траектории, выделения ошибочного участка, извлечения адресной подсказки и короткого дообучения. После обновления модель снова собирает взаимодействия, поэтому примеры соответствуют её текущему поведению, а не однажды подготовленному набору исправлений.
LoCD не требует отдельной более сильной модели: учитель и ученик используют одну основу и различаются доступным контекстом. Это упрощает пилот для команды, у которой уже есть обучение на собственных данных. Основные дополнительные расходы возникают при разметке участка, генерации исправления и обновлении параметров после новых взаимодействий.
Проверка охватывает задачи с формально наблюдаемым результатом, эталонным решением или ответом среды. Поэтому ближайший сценарий — агенты с инструментами, программирование и рассуждения, где ошибку можно связать с конкретным шагом. Для продукта решение состоит не в немедленной замене текущего обучения, а в сравнении коротких локальных исправлений с используемой полной донастройкой на одних и тех же журналах.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
