Журнал · Rit.work

LLM знают, что вопрос не изучен, но отвечают иначе

Обычный ответ LLM может скрыть собственный верный вывод о новизне, поэтому проверку литературы стоит разделить на решение, сверку статей и сборку ответа.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

LLM часто понимают, что исследовательский вопрос открыт, но в обычном ответе описывают его так, будто значительную часть уже изучили. В препринте, который не проходил рецензирование и где все числа получили сами авторы, максимальный разрыв между отдельным решением модели и формулировкой ответа составил 90 процентных пунктов. Для проверки новизны поэтому нужен внешний контур: отдельное решение, сверка статей и шаблон, который не позволяет последующему тексту отменить вывод.

Модель выносит верный вердикт, а затем маскирует его

Guy Zyskind из University of Miami взял 40 вопросов из недавно принятых статей COLM. Эти статьи вышли после обучения проверяемых моделей, при поиске учитывались только более ранние публикации, а саму статью с ответом исключали.

Каждая из шести ведущих систем выполняла две задачи в отдельных сеансах. Сначала модель давала обычный ответ с обзором литературы. Затем она получала найденные ею же статьи и должна была выбрать: вопрос уже изучен или остаётся открытым.

GPT-6-Astra верно признала открытыми 98% вопросов, но прямо сказала об этом лишь в 8% обычных ответов. При этом уже изученные вопросы модели обозначали ясно в 88–100% случаев. Ошибка оказалась направленной: системы охотно подтверждали наличие предыдущей работы, но смягчали противоположный вывод.

Обычные ответы редко содержали прямое ложное утверждение, что исследование уже проведено. Чаще модель признавала отдельные отличия, а затем называла близкую статью почти полным ответом на вопрос. В итоге формальный вывод оставался правильным, но общий смысл ответа менялся.

Дополнительные опыты разделяли вопросы по тому, сколько ключевых частей изменилось относительно опубликованной работы: задача, условия, метод, результат или устройство исследования. Чем ближе выглядела исходная статья, тем чаще модель преувеличивала совпадение. Замена ближайшей работы на публикацию лишь по той же теме сокращала долю уклончивых ответов на 28 процентных пунктов, хотя отдельный вердикт почти не менялся.

Как собрать проверку, которая не теряет вывод

Исправление не требует доступа к весам модели или её внутренним состояниям. Оно разделяет поиск литературы, решение о статусе вопроса и подготовку текста ответа.

  1. Зафиксировать вопрос. Система выделяет обязательные части исследования: что проверяется, в каких условиях, каким методом и с каким результатом.
  2. Получить отдельный вердикт. Модель выбирает между «изучено» и «не изучено» и указывает вероятность первого варианта. Этот вызов не должен одновременно писать обзор литературы.
  3. Проверить ближайшие статьи. Для каждой сильной ссылки модель читает полный текст, если он доступен, и отмечает, какие обязательные части вопроса действительно покрыты.
  4. Собрать ответ по фиксированному шаблону. Сначала выводится вердикт, затем — то, что ближайшая статья оставляет без ответа. Остальные публикации перечисляются как связанная работа, а не как доказательство отсутствия новизны.

Такая сборка подняла долю ясных ответов GPT-6-Astra до 95%. Простого требования «сначала назови вердикт» оказалось недостаточно: последующие абзацы снова могли представить близкую статью как почти готовый ответ.

Проверка полного текста здесь важнее дополнительной генерации. Модели распознавали большинство собственных преувеличений, когда отдельно сопоставляли статью с частями вопроса. Проблема заключалась не только в способности рассуждать, но и в том, как свободно написанный ответ соединял вердикт с обзором литературы.

Работа меняет архитектуру проверки, а не выбор модели

Командам, которые строят поиск исследовательских направлений, поддержку рецензирования или внутреннюю оценку идей, не стоит использовать один обычный ответ LLM как решение о новизне. Более способная модель не обязательно формулирует вывод яснее: в сравнении систем точность отдельных решений росла вместе с разрывом между решением и ответом.

Практический вывод — хранить вердикт, вероятность и проверку каждой ключевой статьи как отдельные структурированные данные. Пользовательский текст следует собирать из них по правилам, а не просить модель заново пересказать весь анализ. Тогда можно увидеть, какая ссылка изменила решение, и не дать осторожной формулировке подменить статус вопроса.

При этом «вопрос ещё не изучен» не означает «работа даст большой вклад». В статье прямое решение о наличии предыдущего исследования лучше отделяло открытые вопросы от закрытых, чем общая оценка новизны. Эти задачи требуют разных этапов и разных выходных полей.

Работу проверяли преимущественно на вопросах из машинного обучения: на принятых статьях, искусственно изменённых опубликованных вопросах и примерах с вымышленными сущностями. Метки опирались на решения рецензентов и поиск литературы, а ответы и ссылки оценивали другие модели. Влияние таких формулировок на решения реальных исследователей не проверялось.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу