Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Веса, которые направляют диффузионную модель к измеренным данным, можно подбирать автоматически без её дообучения. Команда Heriot-Watt University, IMS и ONERA предложила SIMCA; работа опубликована как не прошедший рецензирование препринт, а все числа получили сами авторы. В экспериментах калибровка позволила сократить расписание с 1000 до 50 шагов без статистически значимого ухудшения реконструкции, что прямо снижает стоимость вывода для подходящих задач.
Как подбор весов свели к небольшой линейной задаче
Метод решает обратные задачи: восстанавливает исходное изображение по неполному или искажённому измерению. К ним относятся удаление шума и размытия, повышение разрешения и заполнение пропущенных областей.
Готовая безусловная модель уже знает, как выглядят изображения из обучающего распределения. Во время апостериорной выборки к её предсказанию добавляют направление, которое приближает результат к измерению. Веса этих двух составляющих задают на каждом шаге генерации: ошибочный баланс либо ослабляет связь с измерением, либо разрушает реалистичность результата.
Обычно такие веса задают эвристически или перебирают для каждого режима измерения. Авторы заметили, что целевая функция диффузионных моделей и моделей согласования потоков сводится здесь к линейному методу наименьших квадратов. На каждом шаге нужно найти только пару скалярных весов, поэтому вместо длительной оптимизации достаточно решить небольшую линейную систему.
Простейший вариант калибрует каждый шаг независимо на искусственно зашумлённых обучающих примерах. Однако состояния реального семплера отклоняются от идеальной траектории, а безусловная модель и правило согласования с измерением сами могут ошибаться.
SIMCA учитывает это отклонение. Метод проводит один мини-пакет по траектории семплера, последовательно подбирает веса и использует уже найденные значения на следующих этапах калибровки. Модель не переобучается, архитектура и семплер не меняются, а после калибровки дополнительные вычисления при выводе не нужны.
Короткое расписание сохранило качество не на всех режимах
Самый практичный результат относится к длине генерации: переход с 1000 шагов на 50 уменьшает вычислительные затраты в 20 раз. Для этого SIMCA заново калибрует веса под короткое расписание, а не переносит значения, найденные для длинного.
На FFHQ при случайном заполнении пропусков перцепционная ошибка LPIPS снизилась с 0,203 до 0,068 по сравнению с некалиброванным DPS. LPIPS оценивает визуальное различие между восстановленным и исходным изображением; меньшее значение означает более близкий результат. Калибровка также сблизила результаты нескольких правил согласования с измерением, которые до неё заметно различались.
Проверка охватила FFHQ, ImageNet, CelebA и AFHQ-Cat, диффузионные модели и модели согласования потоков. В качестве задач использовали удаление шума и размытия, повышение разрешения и два вида заполнения пропусков. Измерения задавали известными линейными операторами, а веса настраивали на изображениях, отделённых от тестового набора.
Результат зависит от задачи. SIMCA лидировала или совпадала с сильнейшими методами на большинстве сочетаний метрик и наборов, особенно при заполнении пропусков. На ImageNet с гауссовым размытием она уступила лучшим альтернативам по всем метрикам; похожая картина появилась при удалении шума и размытия на AFHQ-Cat. Автоматическая настройка исправляет масштаб управляющего сигнала, но не устраняет слабость самого приближения измерительной модели.
Когда калибровку стоит добавить в план продукта
Работа меняет план для систем, где уже используют предобученную генеративную модель и добавляют к её выходу сигнал согласования с измерением. В таком контуре ручной подбор расписания весов можно заменить воспроизводимым офлайн-этапом. Это особенно полезно, если продукт обслуживает фиксированный набор камер, масок, уровней шума или других режимов получения данных.
Калибровочный профиль привязан не только к оператору измерения. Его нужно пересчитать при смене уровня шума, базовой модели, правила согласования, семплера или числа шагов. Поэтому веса стоит хранить как часть версии всей конфигурации вывода, а не как независимый параметр модели.
В абляции для настройки хватило одного изображения, поскольку каждый его пиксель участвует в оценке двух весов. Полное расписание занимало от секунд до минут в зависимости от размера калибровочного набора. Это делает отдельные профили для заранее известных режимов реалистичными, но не превращает метод в универсальную настройку для произвольного измерения на каждом запросе.
Сокращать расписание без проверки конкретного семплера тоже нельзя. В работе стохастические семплеры устойчивее детерминированных, но при малом числе шагов их качество падало по-разному. Команде всё ещё нужен собственный контрольный набор для каждого оператора измерения; SIMCA сокращает перебор параметров, а не заменяет проверку качества на целевых данных.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
