Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Новый подход позволяет отсеивать неверные научные решения до экспертного разбора при заранее заданном пределе потери верных. OSVerify сократил число неверных кандидатов, дошедших до эксперта, в среднем на 46% по сравнению с голосованием моделей — результат из препринта Fan Nie и соавторов, который не прошёл рецензирование и в котором все числа получили сами авторы. Для систем научного поиска это предлагает другую архитектуру проверки: модель не заменяет эксперта, а сокращает его очередь.
Конкретную ошибку проверяют отдельно от всего решения
Обычная модель-оценщик получает задачу и полное решение, после чего решает, пропустить его или отклонить. Несколько независимых ответов можно объединить голосованием, но дополнительное голосование лишь точнее оценивает мнение той же модели. Если она не заметила ошибку в длинном доказательстве, повторный просмотр часто не помогает.
OSVerify делит работу между двумя модулями. Первый ищет возможные ошибки: рассматривает решение целиком, рекурсивно разбивает его на связанные фрагменты и проверяет каждый уровень. Полный текст при этом остаётся в контексте, поэтому отдельный шаг не оценивают без исходных условий и окружающего рассуждения.
Второй модуль получает одну предполагаемую ошибку вместе с задачей и решением. Он определяет, существует ли проблема на самом деле и достаточно ли она существенна, чтобы отклонить весь ответ. Незначительная неточность и выдуманная претензия не должны закрывать путь верному кандидату.
Итоговый показатель решения равен самой убедительной из подтверждённых ошибок. Порог подбирают так, чтобы доля ошибочно отклонённых верных решений не превышала заданный предел. Среди оставшихся кандидатов система старается отсеять как можно больше неверных — именно они иначе заняли бы время эксперта.
Такое разделение позволяет независимо наращивать вычисления. Модуль поиска может изучить больше фрагментов и предложить больше гипотез, а проверяющий модуль — несколько раз оценить каждую гипотезу. Авторы также дообучили проверяющий модуль методом GRPO, чтобы он лучше различал существенные, незначительные и выдуманные ошибки.
На математических задачах выигрыш сохранился при строгом пороге
Метод проверяли на Putnam100, H2V и FirstProof-Eval — наборах олимпиадных и исследовательских математических задач с известными ответами. В качестве основы использовали gpt-oss-120b и gpt-5-mini. Эталонные решения и формальные средства проверки от моделей скрыли, чтобы воспроизвести ситуацию, где автоматического критерия правильности нет.
OSVerify сравнивали с прямой оценкой полного решения и с голосованием нескольких оценок. При допустимой доле ошибочного отсева верных решений в 5% метод уменьшил очередь неверных кандидатов на 52% на Putnam100 и на 34% на FirstProof-Eval. После дообучения проверяющего модуля сокращение выросло до 83% и 41% соответственно.
Это контролируемая проверка именно на математике. Она показывает, что архитектура работает при разных уровнях сложности и переносится на исследовательский набор, которого не было при обучении проверяющего модуля. Она не устанавливает такой же выигрыш для кода, медицинских заключений или естественно-научных гипотез: там придётся заново определить существенную ошибку и подобрать рабочий порог.
Когда OSVerify меняет планы команды
Работа меняет архитектурные планы там, где генерация кандидатов уже дешевле экспертной проверки. Вместо ещё одного общего оценщика после генератора можно поставить конвейер из поиска претензий, их независимого подтверждения и человеческого разбора всего, что прошло фильтр.
Эксперт при этом остаётся последней инстанцией. OSVerify оптимизирует не окончательное доказательство правильности, а размер очереди: отклонённые кандидаты считаются достаточно подозрительными, а пропущенные всё равно требуют проверки. Поэтому метод подходит для отбора научных гипотез, доказательств и других результатов, где ложное принятие опасно, но автоматический проверяющий инструмент построить нельзя.
Для внедрения понадобятся примеры заведомо верных решений, на которых команда настроит порог ошибочного отсева. Также придётся зафиксировать, что считается существенной ошибкой: пропущенное обоснование может быть допустимо в наброске доказательства и критично в формальной спецификации. Без такого правила проверяющий модуль будет оптимизировать не тот риск.
Архитектура платит дополнительными вызовами модели за меньшую нагрузку на специалистов. Это рациональный обмен, когда час эксперта дороже многократной машинной проверки, но не обязательно для потоков с дешёвой ручной модерацией или надёжным автоматическим тестом.
В прикладной части OSVerify нашёл нетривиальные ошибки во всех 11 проверенных препринтах OpenAI; специалисты подтвердили эти ошибки, а основные выводы работ сохранились после исправлений. В связке с математическим агентом система также участвовала в получении доказательств трёх открытых утверждений программы Langlands, которые затем проверили эксперты. Эти случаи показывают назначение метода точнее бенчмарков: он направляет ограниченное внимание специалистов туда, где автоматическая проверка не справляется.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
