Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Глубокая сеть с нормализацией может выглядеть устойчивой на каждом слое, но экспоненциально усиливать малые изменения по мере роста глубины. Хотя препринт не рецензирован, а числа в нём получили сами авторы, главный результат сохраняется даже для линейных активаций и ограниченных по норме весов. Значит, контроль отдельных слоёв ещё не подтверждает устойчивость всей модели.
Авторы разделили чувствительность сети на две части. Входной коэффициент Липшица показывает, насколько меняется результат при малом изменении данных, а параметрический — при малом изменении весов. Оба коэффициента могут расти экспоненциально с глубиной и числом параметров, даже когда норма каждой матрицы весов не превышает единицу.
Из-за этого гарантии для негладкой оптимизации, которые полиномиально зависят от коэффициента Липшица, превращаются в экспоненциальные по числу параметров. Оценки обобщающей способности и сертификаты робастности по тому же коэффициенту могут стать бесполезными: формальная верхняя граница растёт слишком быстро, чтобы что-либо говорить о поведении модели.
Механизм связан не только с размером возмущения, но и с его геометрией. Пакетная нормализация сильнее усиливает изменения, которые добавляют входу новые направления и выводят его из исходного низкорангового подпространства. Для теорем использовали сети с линейными активациями и, в конструкции для входов, ортогональными весами; эксперименты провели на MNIST, Fashion-MNIST и CIFAR-10, включая предобученную ResNet56.
При одинаковой энергии шума изменения внутри исходного подпространства меньше снижали точность, уверенность и отступ между классами, чем попиксельный и структурированный шум, создающий новые направления. Практический вывод не в том, чтобы автоматически исключить пакетную нормализацию, а в том, чтобы не считать послойные ограничения доказательством робастности: сеть нужно проверять целиком и с возмущениями разной геометрии.
Источники
Иллюстрация: рисунок из статьи «On Lipschitz Explosion in Deep Neural Networks with Normalization: Consequences for Optimization and Adversarial Robustness», Ashkan Soleymani, Reyhaneh Hosseinpourkhoshkbari, Hadi Daneshmand и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
