Журнал · Rit.work

Память в весах LLM научили забывать устаревшие факты

Контроллер для LoRA-памяти решает, какие сведения записывать в веса модели, как сильно их закреплять и когда давать им исчезнуть.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Память прямо в параметрах LLM научили не только сохранять сведения о пользователе, но и обновлять либо забывать их. Система достигла 86% результата эталонной стратегии, которой заранее известен срок жизни каждого факта, хотя работа Samsung Research America не рецензирована и числа получили сами авторы. Подход предлагает альтернативу поиску по внешнему хранилищу (RAG) для ассистентов, которым не стоит каждый раз добавлять всю историю пользователя в контекст.

Sanidhya Vijayvargiya и Rahul Lokesh разделили систему на хранилище и управляющую политику. Хранилищем служит фиксированный по объёму LoRA-адаптер: факты записываются в разреженные сочетания его рангов, поэтому несвязанные записи реже мешают друг другу. Для каждого ранга задаётся свой темп затухания — временная информация постепенно исчезает, а устойчивые сведения сохраняются.

Контроллер на 2 млн параметров обрабатывает каждое новое событие и принимает три решения: записывать ли его, насколько сильно закреплять и как долго хранить. Повторяющиеся наблюдения усиливают существующую запись, противоречие заменяет прежнее значение, а краткосрочный факт получает небольшой срок жизни. Когда след ослабевает, отдельный адаптер извлечения должен ответить, что значение неизвестно, а не восстановить устаревший вариант.

Средняя точность по классам памяти составила 56%. Лучший вариант непрерывного обучения PCGrad набрал 42%: он хорошо возвращал сохранённые значения, но не умел выборочно забывать их. Сопоставимый по вычислительным затратам менеджер внешней памяти на основе RAG достиг 50%.

Систему проверяли на Qwen 3 1.7B и 909 синтетических пользовательских историях продолжительностью от 700 до 1500 дней. В них встречались постоянные факты, привычки, изменившиеся убеждения и краткосрочные события; запросы проверяли как воспроизведение действующего знания, так и отказ после его устаревания. Основные опыты использовали шаблоны и условные обозначения вместо свободного диалога, поэтому результат показывает работоспособность механизма в контролируемой среде, а не готовность к эксплуатации в персональном ассистенте.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу