Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Устаревший документ из поиска может заставить модель отказаться от ответа, который без внешнего контекста был правильным. Все числа получили сами авторы в препринте, который пока не прошёл рецензирование: эффект проявился у разных моделей и во всех проверенных областях, хотя актуальные документы модели почти всегда использовали верно. Для систем генерации с поиском по внешним источникам, RAG, это меняет критерий отбора: релевантности и даты публикации недостаточно, системе нужен срок применимости источника.
Когда подлинный документ портит ответ
Авторы называют сбой отравлением устаревшим документом (stale-document poisoning). Для него не нужен злоумышленник, поддельный текст или скрытая инструкция: достаточно настоящего документа, который когда-то содержал правильную рекомендацию, но перестал действовать.
Например, медицинское руководство могут заменить после новых исследований, судебную доктрину — отменить новым решением, а метод API — признать устаревшим. Старый источник остаётся тематически релевантным и может занимать высокое место в поисковой выдаче, однако поддерживает уже неверный ответ.
В набор вошли 317 подтверждённых изменений знаний из медицины, права, программного обеспечения и правил платформ. Для каждого случая авторы собрали вопрос, прежний и актуальный ответы, а также датированные официальные источники. Ответ считали испорченным только тогда, когда модель сначала отвечала правильно без поиска, а после добавления старого документа переходила к неверному варианту.
Основная проверка охватила 12 моделей, доступных через API или с открытыми весами. Отдельный набор из 50 изменений позволил оставить вопрос и исторический документ неизменными, а поменять только дату, на которую требовался ответ. Причинные эксперименты проводили уже на более узких поднаборах и с вариантами ответа, поэтому они показывают механизм в контролируемой задаче, а не поведение любого производственного RAG.
Дата документа не показывает, действует ли он
При нейтральной подаче одного старого документа доля испорченных ответов составила 30% у Llama и 37% у Qwen. Когда инструкция прямо требовала следовать документу, показатели выросли до 66% и 75%. Значит, типичная установка «отвечай по найденным материалам» усиливает риск, если поиск не различает действующие и заменённые правила.
Проблема не в том, что модели вообще плохо используют контекст. Когда им давали сопоставимый актуальный документ, они следовали ему в 97–100% случаев. Сбой возникает именно при выборе доверия: модель умеет извлечь позицию источника, но не всегда определяет, имеет ли она силу на дату вопроса.
Эксперимент с неизменным историческим текстом отделил срок действия от содержания. Одна только смена даты слабо влияла на ответы. Когда в контексте явно указывали момент, после которого документ перестал применяться, более крупные модели почти без ошибок переключались между прежним и актуальным вариантами.
Вмешательство во внутренние состояния модели подтвердило, что сведения о сроке действия непосредственно меняют итоговый выбор. При этом задействованные компоненты помогали и в обычных задачах сравнения. Похоже, модели не нужен отдельный механизм времени: ей нужно явно представить границу действия так, чтобы общий механизм сравнения мог её использовать.
Что менять в архитектуре RAG
Работа не требует отказываться от RAG. Она показывает, что поиск только по смысловой близости не контролирует одну из важных причин ошибки. Новый документ не обязательно действует, а старый не обязательно утратил силу: дата публикации и применимость описывают разные свойства.
В индексе стоит хранить не только дату документа, но и начало и конец его действия, а также связь с источником, который его заменил. Для медицинских рекомендаций это может быть дата пересмотра руководства, для права — момент вступления решения в силу, для API — версия, начиная с которой изменилось поведение.
Эти поля должны влиять и на поиск, и на генерацию. Повторный ранжировщик может сочетать смысловую близость, свежесть и признаки замены документа. Испытанный в работе фиксированный вариант снижал долю испорченных ответов на 4,6–10 процентных пункта, когда даты были точными; при пропущенных или неверных датах польза сокращалась и могла смениться вредом.
В контекст модели полезно передавать не просто дату публикации, а явное правило применимости: до какого момента источник действует и каким документом заменён. Эксперимент показывает, что крупные модели уже умеют использовать такую границу, тогда как самостоятельно выводят её из двух дат ненадёжно.
Проверку RAG также нужно вести в обе стороны. Обычный сценарий измеряет, исправляет ли актуальный источник устаревшие знания модели. Второй сценарий должен проверять обратное: не заставляет ли найденный старый документ изменить уже правильный ответ. Без такого теста рост качества поиска может скрывать падение качества всей системы.
Источники
Иллюстрация: рисунок из статьи «Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers», Md Shamim Ahmed, Lukas Galke Poech, Richard R\"{o}ttger, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
