Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
При дообучении диффузионной модели можно исследовать не случайные изменения, а только те, на которые реагирует целевая награда. В препринте команды University of Science and Technology of China, Li Auto, Tongyi Lab и других организаций, который не прошёл рецензирование и содержит собственные замеры авторов, этот подход достиг целей HPSv2 и PickScore в 15 и 29 раз быстрее DiffusionNFT. Для команд это переносит внимание с количества проб на выбор направления каждой пробы.
Почему случайный шум расходует вычисления впустую
Дообучение по награде строится вокруг проб: модель меняет скрытое состояние, завершает генерацию изображения и получает оценку результата. Каждая проба требует провести изображение через весь оставшийся процесс удаления шума, декодировать его и запустить модель оценки.
Обычно изменение задаёт изотропный шум: он одинаково вероятно направлен в любую сторону многомерного пространства. Но награда может зависеть от узкого свойства изображения. В запросе про кота на красном стуле случайные пробы меняют освещение, ракурс или позу кота, не затрагивая цвет стула и почти не меняя оценку.
Чем больше размерность пространства, тем меньшая доля случайного изменения приходится на конкретное полезное направление. Поэтому дополнительный бюджет проб не обязательно приносит больше обучающего сигнала: модель создаёт разные изображения, но не выясняет, какое изменение улучшает нужное свойство.
Просто уменьшить пространство тоже недостаточно. Случайно выбранное компактное подпространство в среднем сохраняет ту же долю полезного сигнала. Оно помогает только тогда, когда его направление связано с целевой наградой.
Как RiDEx выбирает направление и назначает ему вклад
RiDEx вмешивается в поле скорости удаления шума — предсказание, которое определяет, куда сдвинется скрытое состояние на следующем шаге генерации. Метод связывает выбранное изменение, итоговую оценку изображения и обновление параметров модели.
- Фиксирует состояние генерации. В него входят запрос, исходный шум, текущее скрытое представление, шаг и история решателя. Все сравниваемые ветви начинают с одной точки и проходят одинаковое продолжение процесса.
- Предлагает связанное с задачей направление. Для недифференцируемых наград RiDEx-CFG берёт разницу между условным и безусловным предсказаниями модели. Она показывает, какие изменения сама модель связывает с текстовым запросом, и задаёт двумерное пространство. Если через модель оценки можно передавать градиент, RiDEx-Grad проводит его через оценщик, декодер и оставшиеся шаги генерации, получая одномерное направление роста награды.
- Проверяет противоположные изменения. В выбранной точке RiDEx добавляет возмущение вдоль направления и такое же возмущение в обратную сторону. Обе ветви завершают генерацию, после чего их оценивает целевая функция. Поскольку начальное состояние, длина изменения и расписание решателя совпадают, разницу итоговых наград можно связать именно с локальным вмешательством.
- Возвращает оценку в исходную точку. Разница наград задаёт знак и силу локального обновления. Если обратная ветвь оказалась лучше прямой, модель движется против предложенного направления; равные оценки не дают локального сигнала. Одновременно все полученные изображения участвуют в глобальном обучении DiffusionNFT, поэтому направленная проба не заменяет обучение по полным траекториям.
В варианте с градиентом локальное обновление напрямую складывается с глобальным. В RiDEx-CFG его сначала проецируют на компоненту, которая не дублирует глобальный градиент, а затем сохраняют исходную норму обновления. После обучения парные пробы не нужны: модель генерирует изображения обычным способом.
Когда RiDEx меняет план эксперимента
Метод проверили на Stable Diffusion 3.5 Medium и четырёх задачах. GenEval оценивал композиционное соответствие запросу, OCR — читаемость текста, а HPSv2 и PickScore — предпочтения оценщиков. RiDEx сравнивали с Flow-GRPO, ReFL, ExploreNet-GRPO и DiffusionNFT; он получил лучшую пиковую награду среди проверенных методов на каждой задаче.
Контрольные опыты подтверждают, что результат даёт не просто дополнительная пара изображений. При повороте возмущения от направления целевой награды эффект исчезал, а градиенты HPSv2 и PickScore лучше работали каждый со своей функцией. На замороженных состояниях парная оценка правильно упорядочила 481 из 496 сравнений по величине будущего изменения HPSv2, тогда как норма градиента в центральной точке справилась со 136.
Работа меняет план команды, если основную стоимость создаёт онлайн-дообучение диффузионной модели с дорогой оценкой каждого изображения. Вместо увеличения числа случайных траекторий стоит проверить, можно ли сохранить промежуточное состояние, воспроизвести одинаковое продолжение и построить направление из градиента оценщика либо условного остатка модели.
Масштаб проверки пока задают одна базовая модель, перечисленные задачи и время на GPU H200 до общей целевой награды. Поэтому RiDEx даёт основание изменить дизайн эксперимента, но не переносить заявленное ускорение в смету другой модели без собственного теста. Особенно важно сравнивать методы при одинаковом числе запросов к награде и одинаковом качестве цели, а не только по числу шагов обучения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



