Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Traceprop превращает атрибуцию обучающих данных из отдельного задания в побочный результат обучения модели. В препринте независимого исследователя Amit Nautiyal, который не проходил рецензирование и содержит замеры самого автора, подготовка хранилища для атрибуции обошлась в 60–242 раза дешевле отдельного прохода по данным. Если команде нужно связывать ответы модели с исходными примерами, такую трассировку можно закладывать сразу в цикл обучения, а не восстанавливать после него.
Как градиенты сохраняют прямо во время обучения
Атрибуция данных определяет, какие обучающие примеры сильнее всего повлияли на конкретный ответ модели. TRAK, LoGRA и другие распространённые методы обычно начинают работу после обучения: загружают контрольную точку, снова пропускают через модель весь набор и вычисляют градиент каждого примера. Для ансамбля контрольных точек этот проход повторяют.
Traceprop использует градиенты, которые модель уже вычисляет при обратном проходе, когда обновляет параметры. Перехватчики на линейных слоях сохраняют входные активации и выходные градиенты, а затем восстанавливают градиент отдельно для каждого примера. Проверка против последовательного расчёта средствами PyTorch дала косинусное сходство 1,0: направление записанного градиента совпало с эталоном.
Полный градиент сохранять не приходится. Traceprop сразу сжимает его случайной проекцией на GPU и переносит в память только короткий вектор. Буфер сбрасывается вне критического участка обучения, поэтому вычисления проекции частично перекрываются с обычной работой модели.
Для отслеживания многих слоёв автор применил кронекеровское разложение: проекция разделяется на меньшие операции по двум сторонам матрицы градиента. Без этого пришлось бы создавать плотную матрицу, которая при широком охвате слоёв не помещается в память ускорителя. К каждой записи также добавляется путь к исходному файлу и строке, поэтому запрос атрибуции можно довести от ответа модели до конкретного источника.
Накладные расходы остаются около процента
При отслеживании последнего блока дополнительное время составило 0,30–1,08% от длительности обучения. Когда Traceprop записывал все слои, кронекеровский вариант добавил 0,79%. Это означает, что постоянную трассировку можно включать в основной запуск, не выделяя под неё отдельное задание после обучения.
При одинаковом объёме хранилища кронекеровская проекция работала в 2,0–4,1 раза дешевле LogIX, ближайшего конкурента, который также можно запускать внутри обучения. Разрыв увеличивался вместе с числом отслеживаемых слоёв и был статистически значим во всех проверенных режимах.
Качество зависит от охвата и способа подсчёта влияния. На последнем блоке Traceprop превзошёл LogIX, а на всех слоях совпал с его обычной оценкой. В сравнении с усиленной оценкой LogIX он уступил примерно на 2%, поэтому выигрыш по времени не означает безусловного превосходства при любой конфигурации.
Экономия возникает не из более быстрого повторного анализа, а из отказа от него. Traceprop записывает сведения в тот момент, когда обучение уже производит нужные градиенты. Дополнительные контрольные точки и повторное чтение всего набора для подготовки хранилища атрибуции не нужны.
Когда стоит менять план обучения
Замеры времени охватывают дообучение LoRA для GPT-2 и моделей Pythia вплоть до Pythia-2.8B на одном NVIDIA L4. Отслеживание всех слоёв проверяли на Pythia-1B. Отдельный опыт с распределённым обучением показал, что журнал не добавляет собственный обмен между ускорителями, но работа не устанавливает, как система поведёт себя на крупных кластерах или при разделении модели между GPU.
Скорость и качество атрибуции проверяли не в одном опыте. Замеры производительности проводили на уже предобученных моделях с LoRA, где все сравниваемые методы находили слабый сигнал влияния. Качество проекции оценивали на меньшей модели, обученной с нуля, поэтому результаты не доказывают одновременно малые расходы и точную атрибуцию для конкретной большой модели.
Если атрибуция понадобится для разбора ошибок, оценки данных, удаления примеров или аудита, Traceprop меняет последовательность работ: формат записей, идентификаторы источников и область отслеживаемых слоёв нужно выбрать до запуска обучения. Добавить такую историю задним числом без повторного прохода уже нельзя, поскольку она отражает градиенты на всём пути обучения, а не только состояние финальной контрольной точки.
Метод рассчитан прежде всего на трансформеры и линейные слои. LayerNorm не смешивает примеры внутри пакета и подходит для описанной схемы, а модели с BatchNorm требуют другого способа атрибуции. Для ленивых конвейеров загрузки, аудио, видео и графов понадобятся отдельные интеграционные перехватчики.
Записанное происхождение данных можно выгрузить в поля журнала для Article 26 EU AI Act, но такая выгрузка сама по себе не доказывает соответствие требованиям. Аналогично предложенное удаление влияния через коррекцию градиента остаётся приближённым методом без гарантии, что результат неотличим от полного переобучения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
