Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Факты в LLM научились менять без переобучения всей модели: правка остаётся в отдельной памяти, а трансформер продолжает работать с прежними весами. В препринте команды из The Hong Kong Polytechnic University, Hangzhou Diagens Biotechnology и University of Science and Technology of China, который не прошёл рецензирование и содержит замеры самих авторов, EngramEdit почти втрое превзошёл лучший базовый метод в многошаговых вопросах. Для продукта это вариант между внешней базой знаний и правкой основных весов, но только если архитектура уже поддерживает память по n-граммам.
Как факт отделили от вычислений модели
EngramEdit работает с условной памятью (conditional memory). Модель хранит в ней векторы для n-грамм — коротких последовательностей токенов — и извлекает нужные векторы по текущему тексту. Трансформер получает найденное представление и использует его вместе с контекстом.
Такое устройство позволяет менять не все веса модели, а только записи памяти, связанные с фактом. Но простая замена одного вектора не решает задачу: разные формулировки одного вопроса активируют разные n-граммы, а часто встречающийся фрагмент текста может участвовать во множестве несвязанных ответов.
EngramEdit сначала создаёт несколько формулировок редактируемого факта. Для каждой формулировки метод вычисляет, как должно измениться представление памяти, чтобы модель выбрала новый ответ. Основные параметры и сама память на этом этапе остаются неподвижными: оптимизируется временная добавка к представлению.
Затем метод сопоставляет формулировки с активированными n-граммами и решает все правки совместно. Если один вектор памяти нужен нескольким формулировкам или фактам, он получает одно согласованное обновление, а не несколько последовательных и конфликтующих.
Часто используемые и короткие n-граммы менять опаснее, поэтому EngramEdit сильнее ограничивает размер их обновления. Вектор редкого сочетания можно сдвинуть заметнее, а общий фрагмент языка метод старается сохранить. При ответе обновление действует только тогда, когда соответствующая n-грамма появляется во входном тексте.
Правки переносятся на новые формулировки и цепочки фактов
После 2 000 последовательных правок на CounterFact метод правильно применял новое знание к 97,0% отложенных перефразировок. Точность на несвязанных вопросах составила 85,2% против 86,8% до редактирования: большая часть прежних знаний сохранилась.
На MQuAKE проверяли не прямое воспроизведение факта, а многошаговые вопросы, где обновлённое знание нужно встроить в цепочку рассуждений (chain-of-thought). EngramEdit дал почти трёхкратное преимущество над лучшим из сравниваемых методов. Отключение записей, связанных с проверяемым фактом, снова склоняло модель к старому ответу, тогда как отключение случайных записей почти не влияло на результат.
На ZsRE метод также показал лучшую совокупную оценку, которая объединяет успех правки, перенос на перефразировки и сохранность других ответов. При этом по сохранности несвязанных фактов он не обошёл все базовые методы: разделение памяти и вычислений уменьшает побочный ущерб, но не устраняет его.
Проверка охватывала одну модель с условной памятью — LongCat-Flash-Lite — и три набора задач: CounterFact, ZsRE и MQuAKE. Правки вносили последовательно, а общие способности дополнительно проверяли на наборе языковых задач. Поэтому результаты показывают работоспособность подхода для одной архитектуры и экспериментальных замен фактов, а не универсальный способ обновлять любую LLM.
Когда EngramEdit меняет архитектурный план
Обычное редактирование знаний часто меняет слои трансформера или экспертов в разреженной модели. Это позволяет встроить новый факт в параметры, но затрагивает те же вычисления, которые отвечают за язык, рассуждение и другие знания. Альтернативный путь хранит исправления во внешнем компоненте, однако тогда модель должна получать их отдельно во время ответа.
EngramEdit предлагает третью границу: память входит в саму архитектуру и участвует в обычном проходе модели, но её можно редактировать независимо от основной сети. Команде, которая обучает собственную LLM или выбирает архитектуру для частых обновлений знаний, условная память теперь даёт не только дополнительную ёмкость, но и отдельный интерфейс для правок.
Для продукта поверх закрытого API работа план не меняет: метод требует доступа к векторам памяти, соответствию между текстом и n-граммами, а также к градиентам модели. Его нельзя подключить как внешний модуль к LLM, которая не использует такую память.
Даже при подходящей архитектуре правку придётся оформлять как управляемую операцию. Нужно подготовить разные формулировки факта, проверить прямые и многошаговые вопросы, прогнать тесты на несвязанных знаниях и сохранить возможность отката. Общие векторы памяти всё ещё связывают разные запросы, поэтому ошибочная или злонамеренная правка может распространиться дальше исходной формулировки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
