Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
При контролируемом дообучении можно сохранить полезные предпочтения базовой модели, не заставляя новую версию повторять весь исходный набор вероятностей. В препринте команды Xidian University, University of Hong Kong, Peking University и Qiyuan Tech, который не проходил рецензирование и содержит замеры самих авторов, SRP-SFT обошёл обычное обучение и LP-SFT во всех повторных запусках. Для внедрения достаточно изменить функцию потерь, но методу нужны замороженная исходная модель и заранее рассчитанный кэш.
Вместо снимка вероятностей SRP-SFT защищает разницу между токенами
Обычное контролируемое дообучение SFT увеличивает вероятность правильного следующего токена. При этом оно не следит за отношениями между другими правдоподобными вариантами. Токен, который базовая модель уверенно предпочитала другому, после обучения может потерять преимущество или опуститься ниже него.
LP-SFT решает эту проблему жёстко: новая модель должна воспроизводить локальное распределение вероятностей замороженной исходной модели. Такой подход сохраняет предпочтения, но штрафует и полезное изменение. Если разрыв между двумя токенами вырос в правильную сторону, вероятности всё равно отклонились от образца.
SRP-SFT сохраняет не сами вероятности, а нижнюю границу разности логитов — чисел, из которых модель получает вероятности токенов. На каждом обучающем фрагменте исходная модель выбирает свои top-10 вариантов, исключая правильный токен. Для каждой пары она задаёт, какой вариант должен оставаться выше и насколько большим должен быть разрыв.
Односторонний штраф включается, только когда новая модель сжимает этот разрыв сильнее допустимого или меняет порядок токенов. Когда граница достигнута, штраф становится нулевым: модель может дополнительно усилить исходное предпочтение. В основной конфигурации на одну позицию приходится не более 45 пар, а обычная функция потерь продолжает отдельно учить правильный ответ.
Исходные токены и логиты можно один раз сохранить для фиксированных обучающих примеров. Во время последующих обновлений второй проход через исходную модель не нужен, однако новая функция потерь должна заново определить, какие пары нарушили границу.
Разрыв появился на математике и генерации кода
Основной опыт использовал Qwen3-4B-Base и UltraFeedback. Все сравниваемые методы получили одинаковую инициализацию, порядок данных, оптимизатор и бюджет обучения. Это отделяет эффект функции потерь от случайной смены обучающего контура.
В одном из совпадающих запусков доля задач MATH-500, решённых с первой попытки, выросла с 49,56% у LP-SFT до 54,56% у SRP-SFT. Сводный результат по HumanEval+ и MBPP+ поднялся с 65,91% до 69,50%. В остальных повторных запусках SRP-SFT также остался выше LP-SFT и обычного обучения, хотя на отдельных показателях генерации кода другие функции потерь сохраняли лидерство.
На дополнительных архитектурах SRP-SFT опередил LP-SFT в 18 из 24 сочетаний модели и проверочного набора. Результат для кода оказался устойчивее, а на математике зависел от основы: на Gemma и Granite преимущество осталось у LP-SFT.
Проверка на отложенных примерах показывает различие механизмов. LP-SFT точнее повторяет распределение исходной модели, а SRP-SFT реже сжимает защищённые разрывы и меняет порядок токенов. Теоретические гарантии относятся именно к локальным отношениям на заданном фрагменте текста; сами по себе они не гарантируют правильность всей сгенерированной последовательности.
Метод стоит проверять как замену LP-SFT, а не как новый стандарт
SRP-SFT не требует менять архитектуру модели или готовить отдельную разметку. Команде нужно сохранить исходный контрольный экземпляр, построить кэш его ответов и добавить попарный штраф к функции потерь. Число сравнений растёт квадратично вместе с количеством выбранных токенов, поэтому расширять набор кандидатов без отдельного замера затрат не стоит.
Метод подходит для контура, где SFT улучшает ответы на инструкциях, но не должно разрушать уже выученные различия между правдоподобными продолжениями. Практический тест должен сравнить SRP-SFT как минимум с обычным обучением и LP-SFT при одинаковых данных, инициализации и бюджете. Одной близости распределений недостаточно: полезно отдельно измерять смену порядка токенов и сжатие разрывов.
Работа охватывает модели размером не более 4 млрд параметров, которые уже поддерживают диалоговый шаблон и обладают рабочими навыками. Основные замеры сделаны после одной эпохи на математике и коде; дополнительные опыты используют UltraFeedback, OpenMathReasoning и rStar-Coder. Поэтому менять производственный контур только по этим результатам рано, но для команд, уже применяющих LP-SFT или похожую привязку к исходной модели, SRP-SFT даёт конкретную альтернативу для следующего сравнительного запуска.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
