XCal-FL связывает приватность федеративного обучения с качеством объяснений

Исследователи из Tel Aviv University и Yonsei University представили XCal-FL для приватного федеративного обучения моделей компьютерного зрения; работа опубликована как препринт, не проходивший рецензирования. В лучшем случае авторы измерили пятикратный рост точности объяснений относительно обучения с постоянным шумом. Результат важен командам, которые совместно обучают модели на медицинских изображениях и должны одновременно ограничивать утечки данных и объяснять решения модели.

Что сделали

Федеративное обучение позволяет организациям совместно строить модель, не передавая исходные данные на общий сервер. Однако обновления модели тоже могут раскрывать сведения об отдельных записях. Дифференциальная приватность ограничивает такую утечку: градиенты отдельных примеров обрезаются, к ним добавляется случайный шум, а совокупная потеря приватности учитывается в рамках заранее заданного бюджета.

Обычный подход использует постоянный или заранее составленный график шума. XCal-FL вместо этого меняет его величину во время локального обучения по составному сигналу:

• изменению уверенности модели после маскирования важных областей изображения;
• расстоянию до границы, за которой модель изменит решение после удаления объясняющих признаков;
• пространственной концентрации карты значимости Grad-CAM.

Если выделенная область действительно влияет на прогноз и внимание модели пространственно согласовано, алгоритм уменьшает шум, чтобы слабее искажать полезные градиенты. При размытом или не связанном с решением объяснении шум увеличивается и действует как дополнительная регуляризация.

Сам сигнал также обрабатывается с учётом приватности. По описанию авторов, счётчик на каждом шаге учитывает фактически выбранный шум и запрещает обновление, которое превысило бы бюджет. Поэтому XCal-FL должен обеспечивать ту же формальную защиту отдельных записей, что и стандартный DP-SGD с теми же параметрами приватности, но иначе распределять расходы по ходу обучения.

Что показали

Авторы оценивали качество классификации по F1-мере, которая объединяет точность положительных ответов и полноту обнаружения нужного класса. Для объяснений использовали ROAD: метрика последовательно удаляет наиболее и наименее значимые области изображения и проверяет, насколько меняется прогноз. Чем сильнее решение зависит от областей, отмеченных картой значимости, тем выше точность объяснения.

Относительно федеративного DP-SGD с постоянным шумом XCal-FL повысил F1-меру более чем на 10% в заявленных авторами конфигурациях. В сравнении с AGP, который распределяет шум по каналам Grad-CAM, но не меняет общую величину шума по обратной связи, средний выигрыш в ROAD превысил 75%.

Авторы также делили прирост качества на накопленную потерю приватности. По этому показателю эффективность бюджета для объяснений выросла до трёх раз относительно постоянного шума. При этом F1-мера улучшалась примерно линейно по мере расходования бюджета, а ROAD могла расти неравномерно и достигать максимума раньше завершения обучения. Следовательно, качество прогнозов само по себе не показывает, насколько верными остаются карты значимости.

Ограничения

Метод проверяли только на трёх наборах медицинских изображений: клетках крови, рентгенограммах грудной клетки и снимках меланомы. Эксперименты моделировали межорганизационное федеративное обучение в диапазоне от 3 до 50 участников. Работа не показывает, сохранится ли эффект в обработке текста, табличных задачах или крупномасштабном обучении на пользовательских устройствах.

Сигнал XCal-FL привязан к Grad-CAM. Другая техника объяснения может потребовать нового состава сигнала и настройки весов. Защита действует на уровне отдельного изображения, а не пациента: если одному человеку принадлежат несколько снимков, совокупная утечка на уровне пациента формально не ограничивается.

Вычислительная цена тоже существенна: дополнительные прямые проходы модели увеличивали локальное время обучения до 80% относительно стандартного DP-SGD. Сравнение охватывает постоянный шум и AGP, но не показывает результат совместного применения подходов, хотя сами авторы называют временное изменение величины шума и его распределение по каналам взаимодополняющими. Производственное развёртывание, стоимость инфраструктуры и работа с реальными задержками между организациями не оценивались.

Что это значит

Работа не даёт оснований менять базовый стек федеративного обучения во всех проектах. Она меняет план экспериментов для узкого класса систем: классификации изображений между организациями, где уже нужны DP-SGD, Grad-CAM и проверяемые объяснения.

Таким командам стоит рассматривать качество объяснений как отдельную цель обучения, а не как побочный эффект высокой F1-меры. В прототипе потребуется строить кривые качества прогнозов и ROAD по мере расходования бюджета приватности. Это позволит выбирать момент остановки не только по точности классификации, но и по максимуму точности объяснений.

XCal-FL пока следует воспринимать как исследовательский вариант локального алгоритма, который нужно сравнить с постоянным шумом на собственном распределении данных. Решение о внедрении зависит от того, компенсирует ли прирост объяснимости дополнительное время обучения и подходит ли защита отдельных записей к модели угроз продукта. Для систем, которым нужна приватность на уровне пользователя или пациента, описанного механизма недостаточно без дополнительной агрегации записей и нового учёта бюджета.

Источники

• Pushing the (Decision) Boundaries: Dynamically Calibrating Differentially Private Noise to Explainability in Federated Learning