Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Создан открытый набор тестов Synthetic Hospital для работы LLM с продольными электронными медкартами (EHR) без реальных данных пациентов. Christine Park, Valerie Chen и Tim Dettmers описали его в препринте, который не прошёл рецензирование, а все числа получили сами авторы. В слепой проверке врачи распознали синтетические карты лишь в 53% случаев, то есть почти на уровне случайного выбора.
Основой стали общедоступные учебные задачи и медицинские справочные материалы. Из них извлекли диагнозы, симптомы, результаты исследований и связи во времени, затем сопоставили понятия со стандартами ICD-10-CM, SNOMED CT и LOINC. Так авторы собрали 1 268 пациентов и 5 602 приёма.
Сначала система строит граф медицинских фактов и фиксирует эталонный ответ, а уже потом превращает его в текст истории болезни. Поэтому ошибка в сгенерированной записи не меняет правильную метку: каждый диагноз и клинический факт можно проследить до исходного учебного материала. Карты доступны через среду с FHIR R4, ролевым доступом и вызовами функций, поэтому набор подходит не только для одиночных запросов, но и для проверки агентов, которые сами ищут сведения в медкарте.
На открытой части набора проверили десять моделей в задачах постановки диагнозов, составления сводки, поиска доказательств и восстановления показаний к визуализации. Лучший результат при составлении списка проблем пациента достиг 0,73 по F1 — метрике, которая объединяет точность и полноту. Это соответствует среднему результату врачей на сопоставимой части, но уступает лучшему врачу с 0,89; при составлении сводки модели пропускали примерно половину клинически значимых фактов.
Проверка охватывает правдоподобие отдельных карт, а не соответствие реальной популяции: набор сохраняет структуру учебных случаев, из которых его собрали. Он также не имитирует пропуски, противоречия и ошибки документации. Synthetic Hospital поэтому полезен как воспроизводимый полигон для разработки клинических LLM, но не заменяет проверку на данных и процессах конкретной больницы.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
