CONFIRM отдаёт право публиковать научный результат правилам, а не LLM

Система CONFIRM не даёт научному агенту выдавать методологически слабый результат за подтверждённый. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, аудит NeuroClaw-adapted снизил ложную поддержку с 23% до нуля и сохранил все его выводы, согласованные с научной литературой. Для архитектуры таких агентов это означает, что запуск анализа и право сообщать его результат должны контролировать разные компоненты.

Как право на публикацию отделили от расчёта

Обычный агент сам формулирует гипотезу, выбирает данные, пишет код и затем оценивает собственный результат. Проверки могут подтвердить, что код выполнился и числа в отчёте совпадают с выводом программы, но это не защищает от слабого дизайна исследования.

Например, группы пациентов могут быть собраны преимущественно в разных клиниках. Тогда различия между сканерами или протоколами выглядят как различия между диагнозами. LLM может увидеть сведения об этом смешивающем факторе и всё равно признать вывод допустимым.

Команда Yuxiang Wei построила CONFIRM так, чтобы модель не выносила окончательный вердикт. Сначала LLM переводит исследовательский вопрос в машиночитаемый план: фиксирует проверяемый эффект, направление ожидаемого изменения, группы данных, учитываемые переменные, весь набор тестов и критерии допуска.

План блокируют до чтения результатов и присваивают ему криптографический отпечаток. После этого обычный код выполняет расчёты и записывает оценки эффектов, проверки дизайна, результаты на независимых данных и альтернативные варианты анализа. LLM получает эту запись только для подготовки понятного текста, а отдельная проверка удаляет числа и формулировки, которые не соответствуют расчётам.

Право сообщить вывод определяют пять программных фильтров:

• История поиска. Результат должен выдержать поправку на все проведённые тесты, а не только на заранее объявленные.
• Смешивающие факторы. Анализ должен учесть различия между площадками, сканерами, программным обеспечением и другими измеренными условиями.
• Статистическая мощность. Выборка должна с вероятностью не ниже 80% обнаруживать заранее заданный эффект.
• Устойчивость. Не менее 60% разумных вариантов анализа должны приводить к согласованному результату.
• Независимое повторение. Эффект должен сохранять направление и статистическую значимость в каждом наборе данных для повторной проверки.

Требования зависят от выбранного заранее режима. Screen проверяет историю поиска и смешивающие факторы, Replicate добавляет повторение на независимых данных, а Full применяет все фильтры. Только Full позволяет назвать вывод подтверждённым.

Какие ошибочные выводы отсёк CONFIRM

Для проверки авторы собрали NeuroClaimBench из 489 исполняемых утверждений по нейровизуализации. Среди них были выводы из научной литературы и 150 специально испорченных контрольных примеров: с перепутанными площадками, случайными диагнозами, слишком маленькими выборками, множеством тестов без поправки или эффектом, который не повторяется.

CONFIRM ошибочно поддержал не более 3% таких контролей, тогда как базовые решения с моделью-оценщиком или простыми эвристиками принимали 23–38%. При этом разные режимы восстановили до 61% выводов, подтверждённых литературой. Самый строгий Full не принял ни одного испорченного контроля, но ожидаемо пропустил меньше полезных результатов.

Проверка охватывала структурную МРТ, функциональные связи мозга в покое и ПЭТ, а также исследования старения, Alzheimer’s disease, ADHD, ASD и психозов. Все утверждения выполнялись на заранее зафиксированных данных с раздельными выборками для открытия эффекта, повторной проверки и окончательного контроля.

Это результат для нейровизуализации, а не готовое доказательство для любой научной области. Содержательная часть фильтров зависит от предмета: в геномике придётся проверять пакетные эффекты, в эпидемиологии — смещение выборки, а в эконометрике — корректность инструментальных переменных.

Меняет ли работа планы команд, которые строят научных агентов

Если агент только пишет и запускает код, архитектуру менять необязательно. Если он ещё формулирует выводы, которые попадут в статью, отчёт или базу знаний, решение о публикации нельзя оставлять той же LLM, которая предложила анализ.

Модель стоит использовать как планировщик и редактор: она переводит вопрос в формальный план, предлагает исправления и объясняет результат. Исполнительный слой должен детерминированно считать статистику, а отдельный управляющий слой — применять заранее выбранные критерии и хранить причины отказа.

CONFIRM можно добавить к существующему агенту как аудитора. Для этого исходный план анализа должен быть зафиксирован до просмотра результатов; план, восстановленный задним числом, не защищает от выбора удачного эффекта после серии попыток. Журнал агента также должен сохранять все проведённые тесты, иначе нельзя корректно учесть множественный поиск.

Полезна и схема исправлений. Если вывод не проходит фильтр, родительское утверждение остаётся отклонённым, а LLM предлагает отдельные варианты анализа. Валидатор запрещает менять основной вопрос, направление эффекта, данные и пороги, а каждый новый вариант увеличивает поправку за число попыток.

Главный архитектурный вывод не связан с конкретной LLM: компонент, который ищет результат, не должен сам определять достаточность доказательств. CONFIRM показывает рабочую реализацию этого разделения для нейровизуализации; перенос в другую область потребует собственных исполняемых правил и контрольных примеров с заранее известными дефектами.

Источники

• CONFIRM: Governing Scientific Reporting for Trustworthy Agentic Neuroimaging