Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Заявленную точность моделей для скрининга инфаркта связали не с классом алгоритма, а с двумя признаками, которые появляются после диагноза. В работе Raad Bin Tareaf и соавторов их удаление снизило качество ранжирования пациентов с 0,89 до примерно 0,84; препринт не прошёл рецензирование, а все числа получили сами авторы. Для продуктовой команды это переносит главный риск с выбора модели на проверку признаков и схему оценки.
В аудит вошли линейные модели, ансамбли деревьев, нейронная сеть, интерпретируемая Explainable Boosting Machine и табличные базовые модели TabPFN v2 и TabICL. Полный набор содержал диагноз стенокардии или ишемической болезни сердца и факт КТ грудной клетки. Оба поля могут отражать уже проведённую диагностику, поэтому модель фактически получает часть ответа на входе.
После удаления этих полей результаты всех моделей уложились в диапазон шириной 0,0045 по площади под ROC-кривой (AUROC), метрике качества ранжирования положительных и отрицательных случаев. Интерпретируемая Explainable Boosting Machine статистически не уступила остальным алгоритмам и обработала одинаковую выборку примерно в 104 раза быстрее TabICL. Значит, усложнение модели здесь покупало вычислительные расходы, но не заметный прирост качества.
Модели обучали и настраивали на 442 067 ответах из опроса BRFSS за 2022 год, а затем без переобучения и смены порога применили к 430 755 ответам следующего года. Целевая переменная — самостоятельно указанный когда-либо поставленный диагноз инфаркта. Поэтому работа проверяет сортировку уже диагностированных случаев внутри одной американской системы наблюдения, а не прогноз первого инфаркта в клинических данных.
Источники
Иллюстрация: рисунок из статьи «Target leakage, not model class, explains reported accuracy in survey-based cardiovascular screening: a leakage-tiered audit of glass-box and tabular foundation models», Raad Bin Tareaf, Murad Al-Rajab, Samia Loucif и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
