Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Отсутствие эталонного документа ещё не означает, что разговорная RAG-система не может ответить по найденному контексту. Иван Кочергин и Василий Коновалов показали, что у сильного поисковика ответ содержали 72% контекстов, которые разметка считала непригодными; поскольку препринт не рецензирован, все числа получили сами авторы. Командам, которые сравнивают поиск и отказ от ответа сквозной метрикой, придётся проверять содержание документов, а не только их идентификаторы.
Сильный поиск чаще выходит за пределы эталона
В разговорном RAG каждый новый вопрос зависит от предыдущих реплик. Поисковик подбирает документы, а языковая модель решает, достаточно ли их для ответа. Если контекста не хватает, модель должна отказаться.
Для оценки обычно используют таблицу релевантности: в ней перечислены документы, которые заранее признали подходящими для вопроса. Удобный короткий путь считает контекст достаточным, если среди найденных документов есть хотя бы один эталонный. Если его нет, отказ засчитывают как правильный.
Такой способ смешивает два разных события. Поисковик может не найти документ с нужным идентификатором, но извлечь его копию, соседний фрагмент той же страницы, материал из другой реплики диалога или другой текст с тем же ответом. В RECOR дополнительную проблему создают сложные отрицательные примеры: их подбирали для того же вопроса, поэтому часть из них фактически содержит нужные сведения.
По мере улучшения поиска точность правила «нет эталона — нет ответа» упала с 0,68 до 0,10. Здесь точность означает долю действительно недостаточных контекстов среди всех контекстов без эталонного документа. Получается обратный эффект: чем лучше поисковик находит альтернативные источники, тем чаще тест ошибочно объявляет его результат непригодным.
Работу проверяли на RECOR и MTRAG. Для RECOR сравнили четыре поисковика разного качества, брали пять первых документов и передавали их трём моделям Qwen3. Авторы также точно воспроизвели официальные варианты BM25, а затем добавили объединённый и гибридный поиск. Поэтому вывод относится к сравнению поисковиков внутри этих двух наборов, а не ко всем архитектурам RAG.
Содержание проверили независимо от идентификаторов
Чтобы отделить пропуск в разметке от слишком снисходительной автоматической проверки, каждый контекст оценивали по содержанию. Модель-оценщик видела диалог, последний вопрос, эталонный ответ и найденные документы без их идентификаторов. Она определяла, поддерживают ли документы основную часть ответа.
Направление результата подтвердили модели нескольких семейств, слепая повторная проверка и отрицательный контроль с документами из других диалогов. Малые открытые модели чаще принимали тематически похожий текст за достаточный, поэтому для абсолютных показателей они подходят хуже. Однако все варианты показали одну зависимость: с улучшением поиска разметка по идентификаторам ошибается чаще.
Отдельная проверка заставила Qwen3-4B отвечать по спорным контекстам. Из контекстов, где эталонного документа не было, но проверка содержания находила ответ, модель правильно отвечала примерно в двух случаях из трёх. На тех же вопросах без документов качество падало до 1%, поэтому результат нельзя объяснить только знаниями самой модели.
MTRAG дал проверку на другом способе подготовки данных. Там релевантность размечали люди, а набор не строили на добытых сложных отрицательных примерах. Тем не менее точность правила по идентификаторам снизилась с 0,72 до 0,50 при переходе к более сильному поиску. Ошибка возникает не только из-за устройства RECOR: неполная разметка в принципе не покрывает все документы, из которых можно получить ответ.
Планы меняются для оценки, а не для архитектуры RAG
Работа не показывает, что конкретный поисковик или Qwen3 лучше подходит для рабочего продукта. Она показывает, что привычный тест может выбрать неправильный вариант. Если отказ оценивать по наличию эталонного документа, правильный ответ из альтернативного источника превращается в ошибку, а ненужный отказ — в успех.
Искажение затрагивает не только долю отказов. Площадь под ROC-кривой, которая показывает, насколько уверенность модели разделяет достаточные и недостаточные контексты, занижалась до 0,19. При ошибочной разметке лучшим детектором достаточности мог оказаться балл поисковика, который вообще не читает документы. После проверки содержания лучше выглядела уверенность самой отвечающей модели.
Если команда уже выбрала поисковик или порог отказа по такому тесту, сравнение стоит пересчитать. Для каждого найденного контекста нужно отдельно проверять, поддерживает ли он ответ, использовать оценщиков из разных семейств и сначала прогонять их на заведомо неподходящих документах. На выборке спорных случаев полезна ручная проверка.
Сложные отрицательные примеры также нельзя автоматически считать непригодными. Перед тестом стоит проверить копии эталонных документов, соседние фрагменты страницы и материалы, размеченные для других реплик того же диалога. В отчёте отказ нужно показывать условно: отдельно для достаточного и недостаточного контекста и обязательно вместе с названием поисковика.
Для новой RAG-системы это меняет план испытаний: одной таблицы релевантности недостаточно для сквозной оценки. Для уже работающей системы вывод уже: пересмотра требует не архитектура сама по себе, а решение, принятое по метрике, которая приравнивала отсутствие эталона к отсутствию ответа.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
