Журнал · Rit.work

PromptPack добавляет точный контроль областей в диффузионные редакторы без дообучения

PromptPack разделяет области обязательной правки, допустимых изменений и защиты, а затем направляет отдельные части запроса только в назначенные зоны изображения.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Существующие диффузионные редакторы научились точнее менять заданные области изображения и сохранять всё вокруг без дообучения. В препринте NVIDIA, который не прошёл рецензирование и приводит числа, полученные самими авторами, участники попарного сравнения предпочли PromptPack базовому FlowEdit FLUX в 87% случаев. Подход позволяет проверить более предсказуемую локальную правку поверх уже выбранного редактора.

Три роли отделяют правку от защиты

Текстовый запрос вроде «добавить собаке шарф» не определяет границы изменения. Редактор сам решает, можно ли поменять позу собаки, фон или освещение. Обычная маска для дорисовки решает обратную задачу слишком жёстко: она разрешает генерацию внутри области, но может не оставить места для края шарфа, тени или контакта с шерстью.

PromptPack делит изображение на области с тремя ролями. В Modify изменение обязательно, в Permit модель может менять пиксели ради связного результата, а Keep должна остаться без изменений. Например, основная маска охватывает шарф, разрешённая полоса вокруг неё даёт сформировать складки и тень, а морда и фон попадают под защиту.

Эти роли не определяют, что именно нужно нарисовать. Для смысла служит второй набор указаний: каждой области назначают короткий региональный запрос. Поэтому «шарф» можно направить к шее, а «цветы» — ко рту, не полагаясь на то, что общий запрос сам свяжет понятия с нужными местами.

Области задают прямоугольниками или пиксельными масками. Если правка касается существующего объекта, PromptPack может передать его текстовое описание в SAM 3, получить маску и автоматически построить основную, разрешённую и защищённую зоны. Для добавления новых объектов пользователь по-прежнему указывает место.

Региональные запросы помещаются в готовую модель

Метод не меняет веса редактора. Он отдельно преобразует каждый региональный запрос в числовое представление и записывает его в позиции, которые обычно занимает заполнение текстовой последовательности. Длина входа остаётся прежней, а исходные слова общего запроса сохраняются.

Затем маска механизма внимания разрешает региональным словам влиять только на назначенные участки изображения. Общий запрос продолжает действовать на весь кадр. Так PromptPack разделяет близкие понятия ещё до генерации и не даёт описанию одного объекта перейти в соседнюю область.

Пространственная защита работает отдельно. Сначала обновления проходят только внутри Modify, затем постепенно расширяются в Permit, но не заходят в Keep. После декодирования редактор восстанавливает защищённые пиксели из исходного изображения.

Авторы встроили этот механизм в FlowEdit FLUX, FlowEdit SD3 и FLUX Kontext. На PIE-Bench++ проверяли, появляется ли запрошенное понятие в нужной области и насколько хорошо сохраняется остальное изображение. PromptPack улучшил размещение понятий во всех трёх интеграциях, а ошибку защищённых пикселей снизил почти до нуля.

Проверка пользователями включала 2 304 попарных оценки. Предпочтение PromptPack оказалось статистически значимым для FlowEdit FLUX и FLUX Kontext; для FlowEdit SD3 разница осталась в пределах погрешности. Отдельные сравнения также показали, что постепенное расширение через Permit лучше сохраняет исходник, чем разрешение менять широкую область с самого начала.

Когда PromptPack меняет план разработки

Работа меняет план продукта, если редактор должен исполнять точные указания на холсте: добавлять несколько объектов, сохранять лицо или надпись и допускать изменения только возле границы вставки. Вместо обучения отдельной модели команда может сначала добавить слой управления поверх совместимого редактора и проверить, снижает ли он число повторных генераций.

Это не универсальная надстройка над любым API. Интеграции меняют маски механизма внимания, ограничивают внутренние обновления и восстанавливают пиксели после декодирования. Если сервис не открывает эти части процесса, описанной в работе реализации недостаточно.

Интерфейс продукта тоже должен передавать больше намерения, чем одна строка текста. Понадобятся инструменты для зон правки и защиты либо связка с сегментацией через SAM 3. Такой обмен оправдан в редакторах для дизайна и производства контента, где предсказуемость важнее полностью автоматического выбора области.

Региональные запросы используют свободные позиции в текстовой последовательности, поэтому их вместимость конечна: слишком длинные фразы придётся сокращать или исключать. Замена служебного заполнения также может сдвинуть поведение модели, а жёсткая локализация иногда мешает сформировать нужный объект. PromptPack стоит рассматривать как управляемый компромисс между точностью правки и свободой генератора, а не как гарантию качества исходного редактора.

Источники

Иллюстрация: рисунок из статьи «PromptPack: Training-Free Augmentation of Diffusion Editors for Intent-Aligned Spatial and Semantic Control», Sophia Zalewski, Mustafa Munir, Enting Liu и др., CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу