Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Zhichao Hou и Xiaorui Liu из North Carolina State University разработали Threat Conditional Network (TCN), которая подстраивает одну модель под разные уровни состязательных атак; работа представлена как препринт, не проходивший рецензирования. По замерам авторов, условные модули увеличивают число параметров ResNet-18 на 4,6%. Подход важен командам, которым приходится выбирать между одной защитной моделью с усреднёнными характеристиками и набором моделей для разных условий эксплуатации.
Что сделали
Обычное состязательное обучение настраивает модель под заданный бюджет атаки — максимально допустимую величину изменения входных данных. Авторы исходят из того, что модели для разных бюджетов частично повторяют одни и те же представления. Поэтому TCN сохраняет общий каркас сети, а промежуточные признаки корректирует лёгким условным модулем.
Уровень угрозы кодируется признаками Фурье и передаётся в модуль, который отдельно масштабирует и сдвигает каналы признаков. Во время обучения бюджет выбирается из распределения, а при применении сети его значение подаётся на вход вместе с объектом.
На CIFAR-10 с ResNet-18 авторы измерили среднюю точность TCN в 74,66% против 71,23% у обычного PGD-обучения с равномерно выбранными бюджетами. Вычислительная стоимость прямого прохода при этом выросла менее чем на 0,1%. В работе также утверждается, что единая TCN приближается к результатам отдельных моделей, специализированных под каждый уровень атаки.
Что это значит
TCN предлагает хранить и обслуживать один модельный контур вместо коллекции весов, если уровень угрозы известен системе. Это сокращает рост числа моделей при добавлении новых бюджетов и позволяет менять режим защиты без переключения между отдельными классификаторами.
Ограничения. Основные проверки проведены на CIFAR-10, CIFAR-100 и Tiny-ImageNet с ResNet-18 и WideResNet-28-10; перенос в обработку текста показан только на AG News с TextFooler. Работа не показывает эксплуатацию на производственных данных и требует передавать уровень угрозы при применении модели. Для неизвестных бюджетов авторы выбирали ближайший более высокий уровень из обучающего набора, а не оценивали угрозу автоматически. В сравнении приведены параметры и число операций, но нет замеров полного времени обучения, задержки и памяти при обслуживании.
Источники
Иллюстрация: рисунок из статьи «Towards One-for-All Robustness Across a Continuum of Threat Levels», Zhichao Hou, Xiaorui Liu, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
