Журнал · Rit.work

MIRAGE выбирает между памятью LLM и новыми фактами на каждом шаге

MIRAGE проверяет каждый шаг составного ответа и решает, когда LLM должна доверять собственной памяти, а когда — фактам из RAG.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

LLM стали точнее отвечать на составные вопросы, когда внешний контекст спорит с их встроенной памятью или приносит совершенно новый факт. MIRAGE обошёл PokeMQA во всех основных конфигурациях работы, хотя препринт не прошёл рецензирование, а замеры выполнили сами авторы. Подход можно поставить поверх RAG, не обучая модель заново, но он добавляет отдельные проверки на каждом шаге рассуждения.

Как MIRAGE выбирает источник для отдельного шага

MIRAGE сначала разбивает исходный вопрос на последовательность подзадач. Для каждой подзадачи система находит внешний фрагмент, генерирует кандидатный ответ и с помощью той же базовой LLM проверяет, соответствует ли ответ вопросу. Если соответствует, цепочка продолжается без исправлений.

Если проверка не пройдена, MIRAGE просит модель оценить вероятность того, что её собственный ответ верен. Эта оценка называется P(True). При значении не ниже 0,5 система выбирает ответ из параметрической памяти — фактов, усвоенных моделью во время обучения. При меньшем значении она повторно отвечает по материалам RAG.

Такое правило опирается на различие между двумя сбоями. Когда внешний факт конфликтует с известным модели, она обычно отвечает уверенно. Когда факт для неё новый, уверенность падает. На NEXUS средняя оценка составила 0,77 для конфликтных фактов и 0,24 для новых, поэтому один порог разделил эти случаи достаточно хорошо.

P(True) не определяет, какой источник действительно актуальнее. Он оценивает знакомство модели с фактом и использует уверенность как косвенный признак происхождения знания. Это существенное допущение: уверенная ошибка и неизвестный модели правильный факт могут потребовать другой политики.

Второй модуль исправляет структуру цепочки. Он распознаёт пропущенную декомпозицию, повтор одного вопроса и обрыв рассуждения, после чего добавляет подходящий шаблон и перезапускает проблемный шаг. Вся схема работает во время вывода и не меняет веса базовой модели.

Метод проверили на четырёх семействах LLM и двух наборах задач. Новый набор NEXUS содержит 3100 составных вопросов: в нём преобладают конфликты с памятью модели, а меньшая часть требует использовать полностью новые сведения. В проверку также вошёл MQUAKE-CF-3K с контрфактическими правками.

Где маршрутизация улучшила ответы

Самый большой разрыв с PokeMQA получился на GPT-4o и NEXUS при одной вставке знания. Точность итогового ответа выросла с 52,15% до 73,65% — на 21,5 процентного пункта. В остальных показанных сочетаниях моделей, наборов данных и объёмов правок MIRAGE также сохранил преимущество по итоговым ответам и по правильности отдельных шагов.

Разбор компонентов показывает, что результат дала не только маршрутизация между памятью и RAG. На GPT-3.5-turbo-instruct шаблонный корректор сам по себе прибавил больше, чем модуль выбора источника, во всех приведённых режимах. Значит, часть ошибок возникала из-за сломанной структуры рассуждения: модель перескакивала к ответу, зацикливалась или теряла следующую подзадачу.

Границы проверки важны для интерпретации результата. Новые факты в географической части NEXUS построены на вымышленных странах, а конфликтные примеры получены через контрфактическое изменение промежуточных сущностей. В расширенной части вопросы подготовлены с помощью GPT-3.5, а правки — с помощью Gemini 2.5. Такой набор хорошо изолирует выбор источника, но не воспроизводит все ошибки реального поиска и обновления корпоративных данных.

Меняет ли работа планы RAG-команд

MIRAGE не требует менять модель или заменять поисковый слой. Для существующей системы это дополнительный уровень оркестрации: он хранит явную цепочку подзадач, проверяет ответы после каждого шага и только при сбое выбирает между памятью LLM и найденным контекстом. Такой вариант подходит процессам, где итог зависит от нескольких связанных фактов и ошибку нужно локализовать.

Переносить фиксированное правило доверия без проверки на собственных данных рискованно. В продукте внешний источник может быть нормативным и должен иметь приоритет даже тогда, когда модель уверена в старой версии факта. Порог также зависит от того, насколько хорошо конкретная LLM оценивает собственные ответы. Практический пилот должен отдельно измерять качество каждого шага и проверять калибровку уверенности на знакомых, обновлённых и действительно новых сведениях.

Схема увеличивает число обращений к модели: нужны декомпозиция, проверка соответствия, оценка P(True), а иногда повторная генерация. В работе не приведены задержка и стоимость этих дополнительных вызовов. Поэтому MIRAGE пока меняет скорее план эксперимента, чем базовую архитектуру: к сравнению моделей и поисковиков стоит добавить проверку маршрутизации доверия, но решение о внедрении потребует замеров на рабочей цепочке.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу