Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Комментарии к научным работам можно проверять на фактические ошибки, не передавая всю статью большой языковой модели. Хотя препринт не прошёл рецензирование и все числа получили сами авторы, PremiseCheck показал сопоставимую с GPT-5.5 точность примерно за половину его стоимости. Для систем проверки длинных документов это аргумент в пользу конвейера из специализированных моделей вместо одного дорогого запроса к LLM.
Комментарий превращают в проверяемые посылки
Комментарий рецензента редко состоит из одного явного утверждения. Вопрос «Проверяли ли авторы другие модели?» подразумевает, что таких экспериментов в статье нет. Если отдать весь комментарий обычной модели проверки фактов, она должна сама восстановить скрытый тезис и найти подтверждение в длинном документе.
PremiseCheck разделяет эту работу на два этапа. Сначала GPT-5.5 получает только комментарий и переписывает его как набор самостоятельных посылок. Каждая посылка должна называть метод, таблицу или раздел, к которому относится, но не добавлять того, чего рецензент не утверждал явно или косвенно.
На втором этапе модель принятия решений Jev проверяет каждую посылку. Такая модель не пишет ответ, а возвращает вероятность того, что заданное утверждение следует из текста. Перед проверкой она также определяет, нужно ли искать ответ в статье или опираться на общие знания: например, тезис об отсутствии эксперимента относится к статье, а статус метода как стандартной базовой линии — к знаниям предметной области.
Итоговый балл комментария равен баллу самой слабой посылки. Это соответствует устройству задачи: одного неверного основания достаточно, чтобы пометить комментарий как потенциально ошибочный. Система ищет неверное изложение статьи, но не оценивает, насколько замечание рецензента разумно или существенно.
Работу подготовила группа из Lehigh University, University of British Columbia и Vector Institute. Метод проверяли на ReviewFact: наборе из 9 267 комментариев к 217 статьям по NLP, машинному обучению и естественным наукам. В него входят тексты людей и ИИ, а в основной постановке каждый комментарий проверяют отдельно; Jev получает статью длиной не более 24 тысяч токенов.
Разложение сохранило точность и сократило счёт
Основная метрика — площадь под ROC-кривой. Она показывает, насколько уверенно система ставит ошибочный комментарий ниже корректного: чем выше значение, тем лучше модель разделяет два класса при разных порогах.
На комментариях по NLP PremiseCheck с обычным режимом рассуждения получил 63,0 балла против 63,2 у GPT-5.5, который целиком читал статью для каждого комментария. Разница находится в пределах выбранного авторами критерия сопоставимости. В двух других областях результат PremiseCheck отличался не более чем на 0,3 балла или превосходил контрольную систему.
Такой вариант стоил примерно половину от прямой проверки через GPT-5.5. Если отключить рассуждение у модели, которая раскладывает комментарий на посылки, стоимость на части с NLP падала до четверти, а время — менее чем до половины. На машинном обучении и естественных науках этот режим терял от 1,7 до 3,2 балла, поэтому экономию нельзя автоматически переносить между предметными областями.
Простая замена GPT-5.5 на Jev без разложения комментария не сработала: на NLP модель показывала результат на уровне случайного ранжирования. Значит, выигрыш даёт не только дешёвая проверка длинного текста. Ключевой шаг — превратить смешанный комментарий со скрытыми предпосылками в короткие утверждения, для которых специализированная модель уже подходит.
Когда схема меняет архитектуру продукта
Работа меняет планы команд, которые проверяют много коротких замечаний по одним и тем же длинным документам. Вместо запроса «прочитай документ и оцени комментарий» можно выделить дешёвый этап понимания короткого текста, а чтение документа поручить модели, которая возвращает решение без генерации объяснения. Расходы тогда растут прежде всего с числом посылок, а не с рассуждением LLM над всей статьёй.
Такая архитектура требует хранить промежуточные посылки и показывать, какая из них снизила итоговый балл. Это полезно не только для отладки: человек получает конкретное утверждение, которое нужно сверить со статьёй, а не непрозрачную метку для всего комментария.
Перестраивать общий контур проверки документов только по этой работе рано. Эксперименты охватывают рецензии научных статей, где ошибка означает, что комментарий неверно передаёт содержание документа. Они не подтверждают качество схемы для юридических заключений, технических требований или корпоративных регламентов, где правила доказательства и цена пропуска отличаются.
PremiseCheck также не заменяет содержательную экспертизу. Система может привлечь внимание к вероятной фактической ошибке, но не решает, справедлива ли критика, важен ли пропущенный эксперимент и как замечание должно повлиять на решение. Практический сценарий — фильтр для человека, а не автоматический арбитр.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
