Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Пользу от контекста научились переносить во внутренние параметры LLM, чтобы она сохранялась после удаления исходной подсказки. В нерецензированном препринте, где числа получены самими авторами, Cortex после 50 последовательных правок фактов сохранил 88,9% улучшения от контекста и 99,8% прежнего качества на остальных задачах. Подход может пригодиться продуктам, которым нужно закреплять новые знания или поведение без постоянной передачи одного и того же контекста.
Как контекст становится частью модели
Контекст помогает модели ответить точнее, но его действие заканчивается вместе с запросом. Cortex переносит полученное улучшение в параметрическую память — знания и поведение, записанные в весах модели. После обновления исходный контекст уже не нужен для каждого следующего запроса.
Работа объединяет под одной задачей три сценария: правку заданных через контекст фактов, обучение навыкам и изменение поведения. Во всех случаях нужно закрепить целевое изменение и не испортить способности, которых оно не касается. Авторы называют эту задачу консолидацией памяти по аналогии с тем, как биологическая память переводит новый опыт в более устойчивую форму.
Cortex сначала создаёт предполагаемые будущие запросы, в которых может пригодиться новый контекст. Затем модель отвечает на них с доступом к контексту, а система переносит эти ответы в обновления весов. Иными словами, метод учит модель не на исходном фрагменте как таковом, а на примерах его возможного применения.
Обновления принимают одну из двух форм. Первый вариант меняет веса через низкоранговые добавки: вместо полной матрицы система хранит более компактное изменение с ограниченной структурой. Второй вариант структурно обновляет полносвязные слои. Оба типа обновлений можно объединять, что позволяет последовательно добавлять несколько изменений.
Абстракт не раскрывает, как именно Cortex создаёт будущие запросы, отбирает ответы и объединяет конфликтующие правки, поэтому восстановить методику точнее нельзя. Это особенно существенно для продукта: качество переноса может зависеть от того, насколько созданные запросы похожи на реальные обращения пользователей.
Баланс между новым знанием и прежним поведением
У консолидации две конкурирующие цели. Чем сильнее модель усваивает новую информацию, тем выше риск изменить ответы в областях, которых правка не касалась. Слишком осторожное обновление сохраняет исходную модель, но почти не переносит пользу от контекста.
Cortex сравнивают по обоим показателям одновременно. В большинстве проверенных режимов он оказался на эмпирической границе Парето: среди испытанных вариантов нельзя было улучшить перенос нового поведения, не ухудшив сохранение прежнего, или наоборот. Это полезнее одного итогового балла, поскольку команды могут выбирать разный компромисс между глубиной правки и стабильностью модели.
Самый конкретный результат относится к Cortex-Structural. После 50 последовательных правок фактов в модели на 14 млрд параметров он вернул 88,9% улучшения, которое раньше давал контекст, и сохранил 99,8% исходного качества вне области правок. Последовательный режим важнее одиночного обновления для долгоживущего продукта: он показывает, как изменения накапливаются, а не только как модель переносит один фрагмент знаний.
Проверка охватывает пять семейств задач, одиночные, пакетные и последовательные обновления. Использовались модели размером от 4 до 120 млрд параметров: плотные и построенные как смесь экспертов, только текстовые и мультимодальные. Поскольку материал подготовлен по абстракту, названия задач, конкретные модели, соперничающие методы и разбивка результатов по режимам остаются за пределами доступного описания.
Когда Cortex может изменить архитектурный план
Работа не отменяет передачу контекста в запросе. Контекст остаётся прямым способом дать модели свежие или частные сведения, а Cortex предлагает закреплять те из них, которые должны повторно влиять на ответы. Практический кандидат на консолидацию — стабильное правило, факт или навык, который используется достаточно часто, чтобы не добавлять его заново при каждом вызове.
Для команд, которые уже планируют периодически дообучать модель, Cortex задаёт более узкую альтернативу: создать примеры будущего применения и внести объединяемое локальное обновление. Это может сократить объём повторяющегося контекста, но абстракт не даёт данных о стоимости обучения, задержке, расходе памяти и времени объединения обновлений. Поэтому работа пока обосновывает эксперимент, а не замену действующей архитектуры.
Первый полезный тест для продукта — последовательность реальных правок с двумя отдельными наборами проверок. Один должен измерять, сохранился ли эффект контекста без самого контекста. Второй — отслеживать неизменные сценарии, включая соседние формулировки и старые правила. Именно такой баланс, а не качество на целевой правке отдельно, определяет, можно ли безопасно накапливать изменения.
Планы стоит менять умеренно: оставить слой работы с контекстом, но предусмотреть экспериментальный контур для переноса часто повторяющихся инструкций в параметры. Решение о внедрении потребует проверки на собственной модели и потоке обновлений, поскольку приведённый результат относится к конкретному режиму фактических правок, а агрегированные выводы охватывают разнородные семейства задач.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
