Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Точечные факты в LLM научились последовательно менять так, чтобы меньше затрагивать остальные знания и общие способности модели. FisherEdit ограничивает правки с учётом чувствительности каждого параметра и обошёл AlphaEdit на моделях Llama-3, Qwen2.5 и Olmo-3; метод представлен в препринте, который не прошёл рецензирование и содержит замеры самих авторов. Для команд, меняющих веса модели без полного переобучения, работа переносит главный инженерный акцент с поиска безопасных направлений на оценку важности параметров.
Проекция оказалась не главным источником стабильности
Редактирование знаний меняет отдельные фактические связи внутри модели. Например, оно должно заменить устаревший ответ и перенести исправление на перефразированные вопросы, но сохранить ответы по соседним темам.
При последовательном редактировании обновления весов накапливаются. Новая правка может повредить прежние изменения или общее поведение модели, поэтому методы вроде AlphaEdit проецируют обновление в нуль-пространство — набор направлений, которые считаются свободными от сохраняемых знаний.
Геометрическое объяснение выглядит убедительно: если не двигать веса вдоль занятых направлений, старые связи должны сохраниться. Но проектор AlphaEdit при стандартных настройках оказался близок к единичной матрице. Он удалял лишь небольшую часть пространства и почти не менял большинство направлений обновления.
Контрольный опыт отделил эффект проекции от регуляризации — штрафа, который не даёт обновлению стать слишком большим. После отключения проектора при неизменном штрафе результаты AlphaEdit почти не изменились. Зато изменение силы штрафа заметно влияло на успешность правок, перенос на перефразированные запросы и сохранение соседних знаний.
Более жёсткая проекция проблему не решила. Она лучше сохраняла локальное поведение, но одновременно мешала записать новый факт и перенести его на другие формулировки. Причина в том, что одно направление может содержать и защищаемый сигнал, и информацию, нужную для правки.
FisherEdit штрафует параметры по их чувствительности
FisherEdit не удаляет направления целиком. Метод оценивает, насколько изменение каждого редактируемого параметра сдвинет исходное распределение ответов модели. Чувствительные веса получают больший штраф, а менее важные остаются доступными для записи нового факта.
Для оценки используется диагональ информации Фишера — приближение, которое назначает отдельную важность каждому весу и не хранит связи между всеми парами параметров. Её один раз рассчитывают по 1000 примерам MMLU, отдельно для матриц выходной проекции в полносвязных блоках, а затем повторно используют во всей последовательности правок.
Задача остаётся квадратичной, поэтому FisherEdit вычисляет обновление напрямую, а не обучает редактор градиентным спуском. Решение разбивается по строкам матрицы весов; низкоранговая форма позволяет заменять большое обращение матрицы набором меньших систем.
На CounterFact FisherEdit показал лучший средний результат на всех проверенных моделях, опередив AlphaEdit на 1,10–2,37 пункта. На Ripple разрыв достиг 3,01 пункта. При длинной последовательности правок перплексия на WikiText — мера того, насколько уверенно модель предсказывает продолжение текста, — выросла примерно на 3% к 1000-й правке.
Замена оценок Фишера одинаковым штрафом ослабила сохранение соседних знаний, а случайные веса ухудшили все показатели. Значит, результат даёт не просто неравномерное ограничение обновлений: важна структура чувствительности конкретной модели.
Когда работа меняет планы внедрения
FisherEdit стоит включить в проверку архитектуры, если продукт последовательно меняет факты непосредственно в весах LLM. Работа показывает, что проектор сам по себе нельзя считать механизмом сохранности: при выборе метода нужно отдельно проверять силу регуляризации, изменение общих задач и накопление ущерба после серии правок.
Практический компромисс — предварительно рассчитать важность редактируемых весов и хранить её рядом с моделью. Такая схема добавляет отдельный этап калибровки, но оценку не требуется пересчитывать перед каждой правкой. Закрытая форма решения также убирает необходимость обучать вспомогательную модель-редактор.
Проверки охватывают инструкционные версии Llama-3-8B, Qwen2.5-7B и Olmo-3-7B, последовательные правки на CounterFact, Ripple и EVOKE, а также задачи на код, естественные науки, следование инструкциям и рассуждение. Поэтому вывод относится прежде всего к прямому редактированию матриц полносвязных блоков у моделей этого масштаба, а не ко всем способам обновлять знания в продукте.
Главное следствие для проектирования — разделять два вопроса: удалось ли записать новый факт и насколько обновление изменило исходную модель. FisherEdit связывает второй вопрос с измеримой чувствительностью параметров и показывает более точный способ контролировать побочный ущерб, чем запрет целых направлений.
Источники
Иллюстрация: рисунок из статьи «FisherEdit: Fisher Information Guided Knowledge Editing for Large Language Models», Yizhou Yang, Jiahong Fu, Zhiwu Wang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
