Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
В диффузионных моделях качество кэширования сильнее зависит от выбора шагов для полного пересчёта, чем от усложнения прогноза пропущенных признаков. В нерецензированном препринте CacheScope, где все числа получили сами авторы, новый планировщик снизил медианный LPIPS — меру визуального отличия от полного расчёта — на величину до 70,1% при ускорении до 3,57 раза. Это позволяет сначала улучшить расписание вычислений, не меняя модель и способ восстановления признаков.
При кэшировании модель на части шагов не запускает все блоки заново, а приближённо восстанавливает результат по сохранённым состояниям. Обычный планировщик оставляет полный расчёт там, где выход первого блока трансформера изменился особенно сильно. Но такой сигнал смешивает две причины: вход мог далеко сдвинуться по траектории генерации либо сеть могла резко отреагировать на небольшой сдвиг.
CacheScope делит относительное изменение выхода первого блока на изменение его входа. Полученную оценку чувствительности планировщик накапливает после последнего полного расчёта; когда сумма достигает порога, он запускает оставшиеся блоки и обновляет кэш. Метод не требует обучения, градиентов, дополнительной сети или заранее подобранного расписания для каждого запроса.
При одинаковом числе полных и пропущенных шагов более сложные способы восстановления признаков не давали устойчивого выигрыша над ограниченным прогнозом первого порядка, а на видео иногда работали хуже. Дополнительные вычисления самого планировщика увеличивали задержку менее чем на 0,15%.
Метод проверили на генераторе изображений FLUX.1-dev и видеомоделях Wan2.1-T2V-1.3B и Open-Sora 1.2, сравнивая варианты при одинаковом вычислительном бюджете. Результаты относятся к кэшированию без переобучения и к этим трём архитектурам; чувствительность оценивали только по первому блоку и вдоль фактической траектории генерации. Для продуктовой реализации вывод узкий: после стабильного простого восстановления признаков следующий резерв качества находится в выборе шагов полного расчёта.
Источники
Иллюстрация: рисунок из статьи «CacheScope: Exact-Compute Allocation for Training-Free Diffusion Acceleration», Qinhan Lyu, Jusheng Zhang, Zhixing Zhang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
