Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Один доминирующий сигнал во внутренних активациях языковых моделей заставляет стандартные оценки разреженных автоэнкодеров показывать высокий результат, хотя полезное содержимое восстановлено хуже. В препринте University of Chicago, который не прошёл рецензирование и содержит замеры самих авторов, автоэнкодер для Qwen-2.5-7B объяснял 99,96% общей дисперсии, но оставлял необъяснённой треть дисперсии за пределами этого сигнала. Значит, высокий итоговый балл ещё не подтверждает, что инструмент интерпретируемости сохранил важные детали работы модели.
Разреженный автоэнкодер раскладывает активации на небольшой набор признаков, которым разработчики пытаются сопоставить понятные свойства. Большие активации направляют до 99,9% дисперсии вдоль первого главного компонента, PC1. Автоэнкодер может восстановить этот компонент множеством равнозначных наборов признаков, поэтому разные запуски обучения находят разные разложения: в GPT-2 у 47 из 50 наиболее важных признаков не нашлось соответствия в другом запуске.
Nathan Delisle и Chenhao Tan предложили не давать автоэнкодеру учить PC1: его проекцию вычитают из активаций перед обучением, а затем добавляют обратно к реконструкции. В моделях, где PC1 доминирует, доля совпадающих наиболее важных признаков между запусками выросла с 4–39,5% до 73–99,5%. При той же разреженности автоэнкодер ухудшал исходную модель на величину до 44% меньше и точнее восстанавливал содержимое за пределами PC1.
Метод проверили на десяти языковых моделях семейств GPT-2, Pythia, Qwen, Llama и Gemma, используя активации средних слоёв на WikiText-103; базовым сравнением служил обычный TopK-автоэнкодер с тем же числом активных признаков. Эффект зависит от того, насколько PC1 захватывает дисперсию: на последнем слое Pythia-1.4B, где его доля составляла 11%, признаки и без исправления хорошо повторялись между запусками. Поэтому перед сменой обучения достаточно сначала измерить долю PC1 и отдельно считать ошибку реконструкции вне него.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
