TIDE ищет влиятельные примеры за один прямой проход

Влияние каждого обучающего изображения на конкретную генерацию научились оценивать без отдельного переобучения модели под каждый запрос. В препринте Sony AI и трёх университетов, который не рецензирован и числа для которого получили сами авторы, TIDE сохранил большую часть точности исходного метода при затратах на запрос на четыре-пять порядков ниже. Это позволяет встроить атрибуцию в рабочий сервис, а не запускать её как отдельное вычислительное исследование.

Как связали обучающий пример с поведением генератора

Обычная атрибуция часто оценивает, как удаление примера изменит функцию потерь. Но меньшая или большая ошибка при обучении не обязательно означает, что модель иначе создаст конкретное изображение.

TID измеряет влияние ближе к механике генерации. У диффузионной модели есть оценочная функция — градиент логарифма плотности, который на каждом шаге направляет изображение от шума к результату. Если удалить обучающий пример и это поле заметно изменится около заданной генерации, пример считают влиятельным.

Прямой расчёт потребовал бы удалить каждый пример, заново обучить модель и сравнить её с исходной. TID заменяет такое переобучение приближением:

1. Готовую генерацию снова зашумляют на нескольких уровнях.
2. Для запроса и всех кандидатов используют одинаковые уровни шума и одинаковые шумовые векторы. Благодаря этому сравнение не зависит от случайной порчи разных изображений.
3. Изменение параметров после удаления примера приближают одним шагом метода Ньютона.
4. Влияние сводят к сходству градиентов запроса и обучающего примера, скорректированному с учётом кривизны функции.

Кривизну TID считает отдельно по слоям через кронекерову факторизацию. Вместо полной матрицы метод хранит два меньших множителя для входных активаций и выходных градиентов слоя. Это убирает случайные проекции и не требует сохранять полный градиент каждого обучающего изображения.

Перед объединением факторов метод нормализует их длину. Иначе уровни с сильным шумом дают крупные градиенты и подавляют остальные шаги. В основных опытах итоговую оценку усредняли по 32 уровням шума.

Как градиентный метод превратили в быстрый поиск

TID всё ещё запускает прямой и обратный проходы для сравниваемых изображений. Поэтому он подходит как модель-учитель, но остаётся дорогим для интерактивных запросов по большому набору.

TIDE обучает модель-ученика воспроизводить не сами значения TID, а порядок примеров в выдаче. Ученик берёт внутренние активации диффузионного трансформера, объединяет их механизмом внимания и строит компактное векторное представление. После этого атрибуция сводится к косинусному сходству и поиску ближайших векторов.

Разметку для ученика не готовят заранее. В каждом пакете TID вычисляет попарные оценки, а TIDE сразу учится ставить наиболее влиятельные примеры выше остальных. Целевая функция сильнее учитывает верх выдачи, поскольку именно эти изображения обычно проверяют или удаляют.

Качество проверяли контрфактическим способом на CIFAR-10, ArtBench-10 и MS-COCO: наиболее влиятельные примеры удаляли, модель обучали заново и измеряли, насколько изменились повторные генерации. TID превзошёл методы на основе разучивания на двух наборах, а TIDE сохранил большую часть результата при затратах на запрос на четыре-пять порядков ниже.

Два решения оказались важнее усложнения формул. Независимый шум для запроса и кандидатов ухудшил средний результат по метрикам на 9,2%, а замена выходного сигнала модели на функцию потерь — на 9,3%. Поправки Ньютона на остаток и влиятельность точки почти не изменили ранжирование.

Когда TIDE меняет архитектурный план

Работа предлагает двухступенчатую схему для систем, где атрибуцию запускают регулярно. Сначала TID строит дорогие оценки влияния и обучает ученика. Затем сервис хранит векторные представления обучающего набора и для нового результата выполняет только прямой проход и поиск ближайших кандидатов.

Такой план подходит для внутреннего аудита датасета, поиска возможного запоминания и анализа спорной генерации. Если запрос нужен один раз, подготовка TIDE может не окупиться: TID уже убирает переобучение, но всё ещё использует обратные проходы.

Проверка охватывает одну разновидность диффузионной модели, хотя формула применима к DDPM, EDM и flow matching. Ученик привязан к конкретной модели и набору данных, поэтому его нельзя автоматически перенести на другую связку. Атрибуция также показывает оценённое влияние, но сама по себе не доказывает копирование и не определяет право на компенсацию.

Источники

• Distilling Diffusion Score Discrepancy for Efficient Training Data Attribution