Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
CIG-SFT научился отделять полезные решения в обучающих примерах от продолжений, которые модель уже умеет предсказывать. В препринте Harbin Institute of Technology, который не проходил рецензирование, приведены собственные замеры авторов: на математических задачах новый способ более чем вдвое повысил среднюю долю верных ответов относительно обычного дообучения. Для команд с готовым набором демонстраций это способ улучшить перенос на более трудные задачи без новых данных и генерации примеров во время обучения.
Как измерили ценность отдельного токена
При обычном контролируемом дообучении (SFT) модель одинаково старательно копирует каждый токен эталонного ответа. Такой подход не различает важный выбор способа решения и предсказуемое продолжение уже написанной фразы.
Адаптивные варианты SFT назначают токенам разные веса. Обычно они смотрят, насколько токен вероятен для самой модели: знакомые продолжения усиливают, а плохо согласующиеся с её распределением ослабляют. Но низкая вероятность может означать не ошибочную демонстрацию, а именно новое действие, которому модель должна научиться.
CIG-SFT использует другой сигнал. Замороженная исходная модель оценивает вероятность эталонного токена сначала с условием задачи, а затем без него. Предыдущая часть правильного ответа в обоих случаях остаётся той же.
Если условие задачи заметно повышает вероятность токена, значит, этот выбор несёт информацию о решении. Если токен почти полностью определяется предыдущим текстом, его информационная ценность ниже. Разницу нормируют по тому, насколько неожиданным был токен без условия, и ограничивают конечной шкалой.
Полученный балл не превращается в вес напрямую. CIG-SFT строит целевое распределение, которое сдвигает текущую модель к полезному токену, но штрафует слишком сильное отклонение от её текущего поведения через KL-расхождение. Авторы вывели обычный скалярный вес токена, который даёт тот же градиент, поэтому не пришлось менять базовую схему SFT.
Информационные оценки вычисляют замороженной моделью до обучения и сохраняют. Во время дообучения меняется только рабочая модель, а вес зависит и от сохранённого балла, и от её текущей вероятности токена. Метод не требует дополнительных демонстраций или генерации обучающих траекторий, но добавляет предварительный прогон набора с условием задачи и без него.
Проверку провели на Qwen2.5-Math и Qwen2.5-Coder размером от 1,5 до 7 млрд параметров. Модели обучали на фиксированных демонстрациях по математике и программированию, затем сравнивали с обычным SFT, адаптивными вариантами DFT, ASFT, PriFT и IDFT, а также с методами обучения с подкреплением. Итоги измеряли на нескольких наборах задач, отличавшихся от обучающей выборки.
Избирательные веса улучшили перенос на сложные задачи
На младшей математической модели средняя доля правильных решений выросла с 13,8% у обычного SFT до 31,5% у CIG-SFT. Доля задач, где хотя бы одна попытка оказалась успешной, поднялась с 42,3% до 58,6%. На программировании CIG-SFT также показал лучший средний результат среди проверенных вариантов контролируемого дообучения.
Разбор компонентов подтверждает, что результат дал не просто дополнительный штраф. Удаление информационного балла ухудшило качество сильнее, чем отказ от ограничения через KL-расхождение. Когда балл пересчитывали меняющейся рабочей моделью, качество резко падало: стабильный сигнал получался именно от замороженной исходной модели.
CIG-SFT назначал токенам меньшие средние веса, чем SFT и DFT, и слабее менял параметры модели. При этом итоговое качество было выше. Метод выигрывал не за счёт более агрессивного обучения, а за счёт того, что направлял обновления на решения, связанные с условием задачи.
Меняет ли CIG-SFT планы команд
Самая заметная практическая деталь касается объёма данных: обучение CIG-SFT на 1 тыс. демонстраций обошло лучшие результаты конкурирующих вариантов SFT, обученных на 100 тыс. примеров. Это не доказывает, что любой набор можно сократить на два порядка, но оправдывает отдельный эксперимент с качественной малой выборкой до расширения корпуса.
Метод подходит командам, у которых уже есть фиксированные эталонные решения и которые не хотят строить контур генерации траекторий с проверкой наград. Для внедрения потребуется добавить предварительный расчёт информационных оценок, их хранение и взвешенную функцию потерь. Основной цикл обучения при этом остаётся близким к обычному SFT.
CIG-SFT не заменяет обучение с подкреплением во всех задачах. Он учится только на доступных демонстрациях и не исследует новые стратегии через собственные попытки. Если продукт требует оптимизировать предпочтения пользователей, работу инструментов или долгие последовательности действий, одних фиксированных ответов может быть недостаточно.
Работу проверяли на моделях одного семейства и только на математике и генерации кода. Поэтому она даёт основание пересмотреть дообучение рассуждающих моделей, но пока не подтверждает такой же эффект для диалогов, извлечения данных или внутренних бизнес-процессов. Разумный следующий шаг — сравнить CIG-SFT с текущим SFT на отложенном наборе, который отличается от обучающих примеров по сложности и формулировкам.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
