Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Компактный детектор научили находить повторяющиеся персональные данные по всему многоходовому диалогу, а не в каждом сообщении отдельно. В работе Perplexity, Purdue University и Rutgers University, которая не прошла рецензирование, а все числа получили сами авторы, PII-Tracer с перекрывающимися окнами поднял полноту по символам с 83% до 97%. Для продуктовой команды отсюда следует конкретная схема: сохранять контекст разговора, связывать повторные упоминания и отдельно проверять длинные диалоги.
Почему отдельное сообщение — неверная единица проверки
Персональные данные определяет не только строка, но и её роль в разговоре. Имя может принадлежать пользователю, быть вымышленным примером или обозначать публичного человека. Детектору приходится учитывать соседние реплики, автора сообщения и предыдущие упоминания.
Повторение создаёт второй риск. Если адрес, телефон или имя встретились в нескольких репликах, недостаточно скрыть одно появление: любое пропущенное оставляет идентификатор в журнале, запросе к внешнему инструменту или сообщении другому агенту.
Для такой проверки создали PII-TRACE: набор из 13 148 синтетических диалогов на 13 языках. В него входят короткие разговоры и переписки длиннее 100 000 символов, а обычный текст соседствует с кодом, таблицами и структурированными записями.
Разметка хранит точные позиции персональных данных и связывает все упоминания одного идентификатора в сущность. Поэтому тест измеряет не только полноту по символам — долю найденных символов из эталонной разметки, — но и согласованное обнаружение. Сущность засчитывают лишь тогда, когда детектор нашёл каждое её появление.
Диалоги синтезировали из структуры производственного трафика. Исходные идентификаторы заменили заполнителями, реплики переписали, а затем вставили вымышленные значения с тем же форматом. Автоматические проверки сверяли позиции, повторное использование значений и отсутствие исходных данных.
Как контекст превратили в разметку токенов
PII-Tracer — двунаправленный кодировщик на 600 миллионов параметров с основой Qwen3. В отличие от генеративной LLM, которая отвечает списком найденных фрагментов, он присваивает каждому токену метку: начало, продолжение или конец идентификатора либо обычный текст. Такой подход сразу возвращает границы фрагмента и не требует извлекать их из свободного ответа.
За один проход модель читает окно длиной 4 096 токенов. Обучающие примеры включают весь доступный разговор, поэтому одинаковая строка получает разную метку в зависимости от контекста. Дополнительная обучающая задача определяет, есть ли в разговоре чувствительные данные вообще, и помогает модели не помечать чистые диалоги без разбора.
Длинные разговоры обрабатывают несколькими перекрывающимися окнами. Это важная инженерная деталь: один проход обрезает конец переписки, тогда как окна позволяют проверить поздние реплики и повторно увидеть идентификаторы возле границы фрагментов. Режим можно менять при применении модели без нового обучения, выбирая между меньшим числом ложных срабатываний и меньшим числом пропусков.
На сущностях с одним упоминанием PII-Tracer обеспечил согласованное обнаружение 91,7%, а при большом числе повторов сохранил 69,1%. Остальные обучаемые детекторы и крупные LLM теряли больше упоминаний по мере роста цепочки. При этом PII-Tracer ошибочно пометил персональные данные в 38,5% чистых разговоров: результат лучше других специализированных систем в этом сравнении, но всё ещё слишком высок для автоматической сертификации журналов как безопасных.
Что менять в архитектуре продукта
Работа меняет план для систем, которые проверяют сообщения независимо друг от друга. Единицей обработки должен стать разговор с сохранёнными границами реплик и ролями участников. Если журнал не помещается в окно модели, его нужно делить с перекрытием, а не обрезать или проверять несвязанные куски.
Тестовый набор также должен хранить не только фрагменты персональных данных, но и связи между повторными упоминаниями. Иначе обычная полнота скроет опасный случай: детектор найдёт почти весь адрес или несколько повторов имени, но оставит один читаемый экземпляр. Отдельная выборка чистых разговоров покажет обратную цену — сколько журналов система отправит на лишнюю маскировку или ручную проверку.
Менять основной продукт на PII-Tracer только по этой работе рано. PII-TRACE воспроизводит структуру производственных разговоров синтетическим текстом и проверяет только диалоги пользователя с ассистентом. В тест не входят вызовы инструментов, сообщения между агентами и мультимодальные входы, а каждый конкурент запускали лишь в одной конфигурации. Результаты подходят для выбора архитектуры и внутреннего сравнения детекторов, но не подтверждают безопасность конкретного производственного потока или соответствие требованиям регулятора.
Практический вывод уже применим без смены модели: проверять весь контекст, измерять покрытие повторяющихся сущностей, тестировать длинные входы отдельно и учитывать ложные тревоги на чистых данных. PII-Tracer показывает, что компактный специализированный кодировщик может закрыть эту задачу без обращения к крупной генеративной LLM на каждом диалоге.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
