Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
DP-MIND научился отвечать по конфиденциальным документам длиной до 1,8 млн токенов, не отправляя исходный текст внешней LLM. Хотя препринт команды Zhejiang University, Ant Group, Institute of Science Tokyo и King Abdullah University of Science and Technology не рецензирован и числа получили сами авторы, на RULER-HQA метод сохранил 59% частичных точных совпадений там, где обычный вызов Qwen2.5-1M обнулился. Для команд это превращает приватную работу с длинными документами из одного удалённого запроса в отдельный конвейер с локальной обработкой, памятью и восстановлением ответа.
Исходный контекст остаётся в доверенной среде
Дифференциальная приватность формально ограничивает, насколько присутствие отдельного фрагмента входных данных влияет на результат. DP-MIND добавляет рассчитанный шум к представлениям токенов ещё в локальной среде и передаёт внешней модели уже изменённый текст. Чем меньше бюджет приватности ε, тем труднее отличить близкие входы, но тем сильнее шум портит смысл.
Длинный документ делят на последовательные фрагменты. Внешняя LLM читает первый зашумлённый фрагмент и составляет краткую память с фактами, нужными для вопроса. Следующий запрос получает новый фрагмент, вопрос и предыдущую память; процесс повторяется до конца документа.
Память тоже не раскрывает оригинал: модель строит её только из уже изменённого текста. Поэтому разбиение, последовательные вызовы и генерация ответа считаются дальнейшей обработкой результата приватизации и не расходуют дополнительный бюджет. В эксперименте с ε=7 внешняя сторона видит зашумлённые фрагменты, промежуточную память и черновой ответ, но не чистый контекст.
Обычная память плохо переносит такой режим: ошибка в раннем фрагменте переходит в следующие состояния. DP-MIND обучает политику памяти на зашумлённых данных с двумя сигналами. Первый поощряет правильный итоговый ответ, второй сближает промежуточную память с эталоном, построенным локально по чистому тексту.
Локальное восстановление возвращает имена и числа
Шум особенно часто ломает короткие фрагменты, которые нельзя пересказать приблизительно: имена, даты, номера и другие части ответа. Во время приватизации локальный модуль сохраняет соответствие между исходными и изменёнными токенами. После ответа внешней LLM он ищет в нём однозначно распознаваемые зашумлённые последовательности и заменяет их исходными.
Этот модуль не просит модель заново рассуждать по чистому документу. Он только восстанавливает совпавшие отрезки, начиная с самого длинного, а таблица соответствий не покидает доверенную среду. Гарантия приватности относится к данным, которые получает внешняя LLM; восстановленный ответ предназначен для локального пользователя системы.
На контексте в 224 тысячи токенов DP-MIND набрал около 70% по SubEM против 27% у прямой обработки Qwen2.5-1M. SubEM проверяет, появился ли эталонный фрагмент внутри ответа. При трёх разных способах приватизации преимущество DP-MIND в самом длинном общем срезе составило 63–69 процентных пунктов.
Разбор компонентов показал последовательный эффект: простое чтение фрагментов быстро теряло качество, перенос памяти между запросами помогал на длинных входах, обучение на зашумлённом тексте добавляло устойчивости, а локальное восстановление давало лучший итоговый результат. Увеличение фрагмента сокращало число обращений к модели, но слишком крупные фрагменты хуже работали на предельной длине.
Вместо одного API-вызова нужен локальный шлюз
Работа меняет планы команд, которые хотели отправлять длинные медицинские, финансовые, юридические документы или исходный код во внешнюю LLM целиком. Расширенного окна контекста для этого недостаточно: после добавления приватного шума модель должна не только вместить документ, но и удержать редкие полезные факты среди повреждённых токенов.
Практическая архитектура потребует доверенного локального компонента. Он хранит исходный документ, выполняет приватизацию, режет текст, ведёт таблицу соответствий и восстанавливает ответ. Внешний сервис получает серию запросов, поэтому при выборе размера фрагмента придётся учитывать задержку и стоимость повторных вызовов, а не только размер окна модели.
Отдельная задача — обучение политики памяти. Базовый агент, рассчитанный на чистый текст, оказался слабее варианта, обученного непосредственно под шум. Если домен заметно отличается от экспериментальных вопросов и поиска отдельных фактов, команде понадобится собственный набор заданий с эталонными ответами и чистыми траекториями памяти.
Метод проверяли на Qwen2.5-7B и Qwen2.5-14B, на RULER-HQA для вопросов с несколькими шагами рассуждения и NIAH для поиска редкой информации в длинном тексте. Испытания охватывают разные бюджеты приватности и несколько механизмов изменения текста. Это подтверждает саму архитектурную схему, но перенос на диалоги, генерацию кода и произвольные корпоративные документы потребует отдельной проверки.
DP-MIND стоит рассматривать не как замену локальному запуску модели, а как промежуточный вариант: чистые данные остаются внутри инфраструктуры, а вычислительно тяжёлое рассуждение выполняет внешний сервис. Такой подход подходит продуктам, где локальная модель слишком дорога или недостаточно качественна, но отправлять исходный контекст поставщику нельзя.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
