Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Замена модели может ухудшить память ИИ-агента, даже если само хранилище осталось прежним. В одном направлении миграции точность при чтении сжатых заметок упала на 13,28 процентного пункта, а в обратном выросла на 9,91 пункта. Хотя препринт не рецензирован и числа получили сами авторы, результат задаёт практическое правило: каждое направление перехода нужно проверять отдельно.
Ankit Goyal и Jaideep Ray разделили память на четыре формата: полную историю, фрагменты для RAG, сжатые моделью заметки NOTES и граф знаний KG-fixed с фиксированной схемой. При замене модели-читателя они сравнивали старое хранилище с памятью, которую новая модель создала сама. Так тест отделяет проблемы миграции от общей способности новой модели отвечать на вопросы.
Лучше всего переносился KG-fixed: после замены модели, записавшей память, точность изменилась лишь на 0,04 процентного пункта. Фиксированные поля и связи ограничивают свободу формулировок, поэтому новый читатель получает ту же структуру. NOTES сильнее зависят от модели-составителя: если она пропустила факт при сжатии, переписать заметки без исходной истории уже недостаточно.
Для RAG опасна частичная замена модели векторного представления. Смешанный индекс, где половина записей построена старой версией, вернул только 4,96 пункта точности против 11,90 при полной переиндексации. Совпадающая размерность векторов не гарантирует совместимость: сервис продолжает работать, но поиск незаметно приносит читателю неподходящие фрагменты.
Проверка охватывала две открытые модели — Llama-3.1-8B-Instruct и Qwen2.5-7B-Instruct-1M — и 48 синтетических историй с ответами, которых нельзя извлечь из обучающих данных. Результаты относятся к одной паре моделей, одному переходу между моделями векторного представления и сценариям, которые целиком помещались в контекст. Для миграции продукта из этого следует тестовый порядок: прогнать новую модель на старой памяти, полностью перестроить векторный индекс и отдельно проверить, сохранились ли исходные факты до этапа чтения.
Источники
Иллюстрация: рисунок из статьи «Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability», Ankit Goyal, Jaideep Ray, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
