Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научили адаптироваться к новым задачам без разметки и не полагаться при этом только на собственные текущие ответы. В препринте University of Cambridge, Western Sydney University, The Alan Turing Institute и University of Chicago, который не прошёл рецензирование и где числа получили сами авторы, метод ESRL повысил среднюю точность до 31,7% относительно исходной модели. Для систем, которые должны учиться после запуска, работа предлагает способ замедлить дрейф и забывание прежних навыков.
Обучающий сигнал собирают из нескольких версий модели
Обычное обучение во время работы строится на ответах одной обновляемой модели. Она несколько раз решает задачу, выбирает ответ большинства как псевдометку и учится чаще выдавать согласованные решения. Если модель начинает ошибаться в одном направлении, тот же сдвиг попадает в псевдометки и усиливается при следующих обновлениях.
ESRL разделяет модель, которая учится, и модели, которые создают для неё данные. Метод сохраняет якорь — снимок текущих обучаемых параметров — и вносит в него несколько небольших случайных изменений. Получается популяция близких политик: каждая политика задаёт своё распределение вероятностей для будущих ответов.
Каждая версия независимо строит одно решение для одного и того же запроса. Метод извлекает итоговые ответы и принимает вариант большинства за временную метку. Группа попадает в обучение, только если большинство выражено явно, но согласие не стало полным: одинаковые ответы всех версий не дают полезного сигнала о том, какие траектории лучше.
Ответы, совпавшие с большинством, получают положительный вес, остальные — отрицательный. Центральная модель повышает вероятность поддержанных траекторий и снижает вероятность расходящихся. Дополнительная регуляризация удерживает её рядом с исходной замороженной моделью, чтобы последовательные обновления не переписали параметры слишком резко.
Неподвижный якорь сдерживает дрейф, но следует за учеником
Если строить популяцию вокруг обновляемой модели после каждого запроса, источник данных будет двигаться вместе с ней. Если зафиксировать его на всё обучение, ответы постепенно перестанут соответствовать состоянию ученика. ESRL обрабатывает запросы блоками: внутри блока якорь остаётся неподвижным, а на границе его заменяет свежий снимок центральной модели.
Так популяция сохраняет разнообразие вокруг относительно устойчивой точки, но не остаётся привязанной к устаревшей версии. Анализ ответов показывает два разных режима: центральная модель концентрирует вероятность на меньшем наборе полезных решений, а возмущённые версии продолжают исследовать более широкий набор вариантов. Большинство при этом остаётся достаточно согласованным, чтобы служить псевдометкой.
Метод не хранит отдельную полную копию модели для каждого участника популяции. Случайное изменение задаётся начальным значением генератора, по которому параметры можно воспроизвести перед генерацией ответа. В памяти остаются якорь и один временный буфер, хотя каждую версию всё равно нужно последовательно запускать для получения траекторий.
Прямое изменение вероятности траекторий оказалось полезнее варианта с ограниченным отношением вероятностей, который применяют в GRPO. В математических задачах средняя точность выросла с 42,8 до 47,5%, когда обе версии метода использовали одинаковые ответы популяции. Значит, эффект даёт не только способ исследования, но и то, как собранные траектории переносят в центральную модель.
Метод меняет схему адаптации, но пока не доказывает готовность к продукту
ESRL проверили на четырёх моделях семейств Qwen3 и Llama и на девяти наборах задач по математике, общим знаниям и медицине. В одиночной адаптации он превзошёл исходные модели и методы TTRL, ECHO, EVOL-RL, ES и SFT; максимальный выигрыш над сильнейшим конкурентом составил 16,6%.
Отдельный опыт последовательно обучал Qwen3-0.6B на MATH-500, MMLU и MedQA. После перехода к следующей области ESRL медленнее терял качество на предыдущих задачах, чем сравниваемые методы. Это соответствует основной гипотезе работы: популяция сохраняет альтернативные способы рассуждения, даже когда центральная модель приспосабливается к новой области.
Для команды такой подход меняет архитектуру контура обучения. Вместо генерации нескольких ответов одной моделью потребуется создавать воспроизводимые возмущения параметров, собирать ответы популяции, отбрасывать бесполезные группы и обновлять отдельного ученика. Это подходит для автономных агентов, где нет постоянной разметки или внешнего проверяющего, но доступно обучение параметров после развёртывания.
Граница результатов проходит по задачам с коротким проверяемым ответом и моделям размером до Qwen3-8B. Работа показывает перенос внутри выбранных областей и последовательное обучение между ними, а не эксплуатацию на реальном потоке пользователей. Поэтому ESRL скорее задаёт экспериментальный контур для проверки на собственных данных, чем заменяет контроль качества и внешние сигналы в рабочей системе.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
