Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Новый способ подстраивает диффузионные модели по внешней оценке без отдельной настройки стабилизатора под каждую задачу. Хотя работа не рецензирована и числа получили сами авторы, на HunyuanVideo-13B метод достиг уровня награды поздних стадий двух базовых подходов, затратив примерно в 12 раз меньше GPU-часов. Это снижает риск, что обучение видео упрётся в перебор режимов и вычислительный бюджет.
При онлайн-обучении с подкреплением модель получает оценку только после генерации изображения или видео. Затем алгоритм должен распределить этот сигнал между всеми шагами удаления шума. Flow-GRPO делает это через переходы обратного процесса, но слабо связывает отдельный переход с итоговой оценкой. DiffusionNFT учится эффективнее, однако требует экспоненциального скользящего среднего (EMA): запаздывающей копии модели, параметры которой приходится подбирать под задачу.
DiffusionART сначала объединяет оценки всех результатов для одного запроса в общее направление, которое должно повысить награду, а затем применяет его к состояниям обратного процесса. Так обновление не тянет модель одновременно к двум несовместимым направлениям, как в DiffusionNFT. Второй шаг возвращает модель к прежнему поведению пропорционально её отклонению, а маска области доверия блокирует чрезмерный сдвиг. Для оценки подходит внешняя система, через которую нельзя вычислить градиент.
На Wan2.1-I2V-14B метод довёл оценку качества движения до 6, использовав в 4,8 раза меньше GPU-часов, чем Flow-GRPO-Fast. Отдельный вариант принимает попарное сравнение результатов вместо числовой оценки. Одной пары видео на запрос оказалось достаточно: при одинаковом числе шагов она потребовала в 3,4 раза меньше GPU-часов, чем группа из восьми результатов.
Метод проверяли на генерации изображений с SD3.5-M и FLUX.1-dev, видео по тексту с HunyuanVideo-13B и видео по изображению с Wan2.1-I2V-14B. Его сравнивали с DiffusionNFT, Flow-GRPO и их вариантами по автоматическим оценкам соответствия запросу, визуального качества и движения. Поэтому результат пока относится к последующей настройке визуальных генераторов по автоматической награде, а не к диффузионным моделям любого типа.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
