Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научили забывать выбранные фрагменты без полного переобучения. В препринте Andrii Shkabrii, Claudia Plant и Martin Pawelczyk, который не прошёл рецензирование и содержит их собственные замеры, PINT лучше прежних методов сохранял общие способности при сопоставимом уровне забывания. Для продуктовой команды это меняет критерий проверки: отказ воспроизвести текст ещё не означает, что модель перестала хранить его признаки.
Забыть связь, а не испортить ответ
Авторегрессионная LLM получает предшествующий текст, строит его внутреннее представление и по нему предсказывает следующий токен. Если модель запомнила фрагмент, такое представление несёт информацию о правильном продолжении.
Большинство методов машинного забывания воздействует на конечный ответ. Одни снижают вероятность удаляемого текста, другие направляют внутренние представления к случайной точке. Модель после этого может перестать отвечать правильно, но статистические признаки обучающих примеров иногда сохраняются в её параметрах.
PINT оптимизирует другую цель. На удаляемой выборке метод снижает HSIC — статистический критерий, который обнаруживает в том числе нелинейную зависимость между внутренним представлением предшествующего текста и следующим токеном. Сходство представлений оценивает гауссово ядро, а токены считаются совпавшими только при точном равенстве.
Одновременно PINT сравнивает представления на сохраняемой выборке с исходной моделью и не даёт им сильно измениться. Один вес в функции потерь регулирует компромисс: чем он выше, тем сильнее модель забывает удаляемый материал и тем больше рискует повредить остальное поведение.
Отличие от RMU состоит в силе требования. RMU пытается сжать представления удаляемых примеров в одну случайную точку. PINT требует лишь, чтобы по ним нельзя было определить следующий токен: представления могут оставаться разными и хранить сведения, которые не раскрывают забываемый ответ.
Как зависимость связали с запоминанием
Для проверки идеи работа использует метрику Exact Memorization. Она показывает долю позиций, где модель правильно предсказывает следующий токен удаляемого текста. Частые слова модель может угадать без запоминания, поэтому результат сравнивают с базовым уровнем случайного продолжения.
Авторы вывели вычислимую верхнюю границу: превышение базового уровня зависит от HSIC и коэффициента, который описывает сложность предсказаний модели. Если представления статистически независимы от следующих токенов, модель не может воспроизводить текст лучше частотного угадывания. Это связывает функцию обучения с наблюдаемым запоминанием, а не только с изменением вероятностей ответа.
Граница не служит предварительной гарантией удаления. Коэффициент зависит от уже обученной модели и теоретически может вырасти, пока HSIC падает. В экспериментах этого не произошло: рассчитанная граница снижалась вместе с Exact Memorization при усилении забывания.
PINT проверили в восьми сценариях: на персональных сведениях о вымышленных людях, опасных знаниях по биологии и кибербезопасности, книгах, новостных статьях и специально внедрённом шуме. Основные сравнения охватывали текстовые модели до 7B параметров, а отдельный опыт с кибербезопасностью провели на модели 70B. Методы сравнивали при разных настройках силы забывания, а не по одному удачно выбранному контрольному состоянию.
В среднем PINT показал лучший компромисс между забыванием и полезностью. Особенно заметен тест с внедрённым шумом: только PINT сделал его статистически необнаружимым и сохранил 91% полезности исходной модели; остальные методы удержали не более 63%. Детектор в этом тесте ищет связь шума с градиентами, поэтому простой отказ выдать заученный ответ пройти его не позволяет.
Работа меняет проверку, но не обещает полного удаления
PINT имеет практический смысл для команд, которые обучают или дорабатывают собственные веса. Метод требует доступа к внутренним представлениям, исходному контрольному состоянию модели, удаляемой выборке и данным, поведение на которых нужно сохранить. Для модели, доступной только через внешний API, такой способ неприменим.
Главное изменение для плана разработки касается оценки. Проверка одного ответа показывает лишь внешнее поведение. К ней стоит добавить точность продолжения удаляемого текста, статистические тесты внутренних признаков и кривую компромисса, которая показывает сохранённую полезность при нескольких уровнях забывания.
Предложенная граница полезна как диагностическая величина после обучения, но не доказывает, что информацию нельзя извлечь другим запросом или атакой. Сами бенчмарки используют приближённые признаки забывания, а успешное прохождение теста не равнозначно юридически подтверждённому удалению данных.
Работа охватывает текстовые модели. Влияние PINT на мультимодальные системы и защитное поведение после дополнительной настройки остаётся отдельной задачей. Поэтому метод стоит рассматривать как новый вариант функции потерь и более строгий протокол проверки, а не как готовую гарантию выполнения любого запроса на удаление.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
