Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
В клинических бенчмарках главный источник подсказки из будущего оказался не в симуляторе анализов, а в тексте случая. Хотя препринт Meilu Zhu, Xiaohan Li и Axiu Mao не прошёл рецензирование и все числа получили сами авторы, в нём доля верных диагнозов с первой попытки выросла с 25,4% до 39,7%, когда LLM вместо сведений на момент поступления дали подготовленное для бенчмарка описание. Значит, абсолютная оценка агента может отражать знание результата задним числом, а не качество диагностики.
Метод HindAudit отдельно проверяет, просачивается ли ответ через итоговый диагноз в данных симулятора, ретроспективный контекст и описание, которое читает агент. Информативность сгенерированных лабораторных результатов оценивали модели, обученные только на реальных записях. Тексты для одних и тех же пациентов сравнивали с реконструкцией состояния на момент поступления, собранной из данных сортировки и истории до госпитализации.
Передача итогового диагноза симулятору меняла диагностический сигнал не более чем на 1,4 процентного пункта. Симуляторы с инструкциями, напротив, часто ослабляли сигнал реальных анализов. Это не гарантирует нейтральности симулятора: дополнительные проверки показали, что он всё же способен повысить оценку агента, который опирается на лабораторные результаты.
Ретроспективные описания влияли сильнее. Истории из выписок давали моделям ещё больше подсказок, а удаление названий диагнозов не устраняло разрыв. Интерактивные агенты тоже получали более высокие оценки, хотя их порядок почти не менялся: бенчмарк может завысить абсолютный результат, сохранив видимость корректного сравнения моделей.
Проверка охватила 27 489 экстренных госпитализаций из MIMIC-IV и 50 распространённых категорий диагнозов одного американского центра. Аудит симуляторов касался лабораторных исследований и локально запущенных моделей. В реконструкции не было записанной при поступлении истории текущего заболевания, поэтому найденный разрыв задаёт верхнюю границу влияния знания задним числом.
При создании клинического бенчмарка случаи стоит собирать из сведений, доступных на момент обращения, и показывать рядом результат на таком исходном описании. Фильтр названий диагнозов проблему не решает: подсказка остаётся в симптомах, процедурах и формулировках ретроспективной записи.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



