Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Обучение ИИ-агентов можно сделать устойчивее, когда ответы собирает уже устаревшая версия модели. В препринте UIUC и CMU, который не прошёл рецензирование и где все числа получили сами авторы, лучший вариант метода занял первое место во всех шести интерактивных задачах. Для команд с параллельным сбором траекторий это повод добавить контроль расхождения между моделью, которая собрала ответ, и моделью, которую уже обновляют.
Почему центрирования градиента недостаточно
Асинхронное обучение запускает генерацию ответов и обновление модели параллельно. Пока агент взаимодействует со средой, обучаемая модель успевает измениться, поэтому готовая траектория приходит от более старой стратегии. Такое же расхождение может возникнуть из-за разной числовой точности или разных вычислительных ядер при обучении и генерации.
Обычная выборка по значимости пытается исправить разницу: обновление каждого токена умножают на отношение его вероятности у новой и старой моделей. Но произведение таких отношений по длинному ответу может дать редкие и очень большие градиенты. Усечённая выборка по значимости, TIS, ограничивает вес отдельного токена, но вносит смещение.
Score Centering решает другую часть проблемы. Для каждой позиции метод вычитает средний градиент логарифма вероятности токена при стратегии, которая собрала данные. Так базовый уровень награды, одинаковый для доступных действий, перестаёт двигать модель в случайную сторону. Центр оценивают по дополнительным вариантам следующего токена при той же истории.
Однако продолжение ответа всё ещё принадлежит старой стратегии. Действие может выглядеть полезным в траектории, которую завершила она, но привести к другой награде, если продолжение генерирует уже обновлённая модель. В агентных средах разрыв усиливается: выбранная команда меняет следующее наблюдение, доступные действия и весь дальнейший маршрут.
Как RSC ограничивает расхождение стратегий
Regularized Score Centering, или RSC, добавляет к центрированному обновлению обратный штраф KL. Он сравнивает распределения следующего токена у обучаемой модели и стратегии-сборщика при одной и той же истории. Если новая модель слишком далеко переносит вероятность, штраф уменьшает такое обновление.
Направление расхождения здесь существенно: RSC штрафует удаление обучаемой модели от стратегии, которая породила траекторию и её продолжение. При обновлении сборщика меняется и опорная стратегия для KL. В полностью асинхронной очереди у каждого примера может быть собственная версия модели-сборщика.
Метод работает как без выборки по значимости, так и вместе с TIS. Центрирование убирает вклад базового уровня награды, TIS обрезает крайние отношения вероятностей, а KL не даёт новой стратегии уйти туда, где оценки действий по старым продолжениям уже плохо описывают результат. Штраф оценивают на тех же данных, поэтому дополнительных взаимодействий со средой он не требует.
Теоретическая часть связывает точную оптимизацию такого регуляризованного критерия с ростом ожидаемой награды. Практический смысл уже: доказательство поддерживает выбранную конструкцию, но не подбирает силу штрафа и не устраняет зависимость от качества центра и настроек TIS.
Когда RSC меняет план обучения агентов
Работа охватывает математические задачи, обычные плотные модели и модели со смесью экспертов, а также интернет-магазин, работу с приложениями, навигацию, игры на выживание и программную разработку. RSC сравнивали с обычным центрированием, TIS, IS-PPOClip и Sequence MIS. Контролируемые агентные опыты повторяли с разными начальными состояниями, а конфигурации для SWE-bench Verified запускали по одному разу.
На AppWorld вариант RSC с TIS превысил SC и SC+TIS на 14,3%. На BabyAI он набрал в 9,9 раза больше сильнейшего внешнего базового метода. На Crafter и Craftax преимущество проявилось не только в финальной оценке: при том же количестве собранных ответов модель получала более высокую награду по ходу обучения.
В одной конфигурации полностью асинхронной разработки RSC без выборки по значимости превысил соответствующий SC на 127%, а вариант с TIS — на 51%. При другой скорости обучения добавление KL к SC+TIS не помогло. Значит, RSC стоит рассматривать не как безусловную замену, а как защиту для режимов, где стратегии действительно расходятся.
План команды меняется, если генерация и обучение уже разделены очередью, траектории долго выполняются или ответы повторно используют после нескольких обновлений модели. В таком контуре полезно сохранять вероятности стратегии-сборщика, измерять расхождение логарифмов вероятностей и проверять RSC вместе с текущим ограничением весов. Если сборщик обновляется часто и расхождение остаётся небольшим, работа не даёт основания усложнять контур только ради KL.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



