Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Чужие закрытые тексты можно точно восстановить при совместном обучении модели, даже если участники не передают друг другу исходные данные. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, атака вернула до 80,2% предложений без ложных совпадений. Поэтому агрегацию обновлений в FedAvg нельзя считать самостоятельной защитой данных.
При федеративном обучении каждый участник работает со своими текстами локально, а сервер усредняет градиенты — числовые сигналы, по которым модель обновляет веса. Атакующий участвует в обучении честно, но анализирует общее обновление: зная собственный вклад, он выделяет средний градиент остальных клиентов.
Атака сначала составляет набор возможных токенов и собирает из них предложения. Затем она сверяет градиент каждого кандидата с общим обновлением. Точно совпавшие предложения вычитаются из смеси, после чего очищенный остаток проходит тот же цикл снова. Такое последовательное вычитание дало в 1,96 раза больше восстановленных предложений, чем первый проход.
Метод сработал даже тогда, когда в общем обновлении было в четыре раза больше токенов, чем составляет размер внутреннего представления модели. В этом режиме DAGER, FILM и SOMP не восстановили ни одного предложения точно. У принятых атакой предложений точность составила 100%: каждое действительно присутствовало в обучающих данных, хотя часть исходного набора оставалась нераскрытой.
Проверки охватили Pythia-160M, Pythia-410M и GPT-J-6B, а также тексты SST-2, Enron и PubMed. Полная версия атаки рассчитана на модели с параллельными остаточными связями; сокращённый вариант работал с GPT-2, но давал менее точный результат. В одном из основных опытов добавление любого проверенного ненулевого гауссовского шума снизило число точных восстановлений со 100 до нуля, тогда как ограничение градиента его не изменило.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



