Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Разделение медицинского датасета по снимкам, а не по пациентам, превратило запоминание людей в качество прогноза и исказило сравнение методов борьбы с дисбалансом классов. В аудите команды HCMUT таблица поиска почти догнала лучшую модель — 0,717 против 0,737 по макроусреднённой F2; работа пока не рецензирована, и все числа получили сами авторы. Командам, которые строят медицинские модели на повторных записях одних пациентов, стоит проверять разбиение и происхождение меток до выбора алгоритма.
Один вектор EHR стал идентификатором пациента
Авторы проверили бенчмарк на 29 083 рентгенограммах грудной клетки от 10 479 пациентов. Модели должны были определять восемь диагнозов по изображениям, данным электронной медицинской карты EHR или их сочетанию.
Один пациент мог попасть в набор несколько раз. При исходном разбиении отдельные снимки одного человека оказывались и в обучающей, и в тестовой части. При этом все снимки пациента получали одинаковый набор признаков EHR и одинаковые метки, даже если их сделали при разных госпитализациях.
Такой вектор EHR работал как идентификатор. Деревья решений и другие модели с достаточной ёмкостью могли найти уже встречавшееся сочетание признаков и воспроизвести связанную с ним метку. Для этого не требовалось извлекать клиническую закономерность.
Проверка без машинного обучения выявила проблему напрямую. Таблица поиска брала метку снимка с тем же вектором EHR из обучающей части и переносила её в тестовую. Она почти повторила результат лучшей модели, а на ранее не встречавшихся пациентах все варианты опустились до уровня правила, которое считает положительным каждый случай.
Разметка добавила вторую ошибку. Диагнозы извлекали по ключевым словам из кодов одной госпитализации, а затем переносили на остальные снимки пациента. После сопоставления каждого снимка с его собственной госпитализацией хотя бы одна метка изменилась у 36,8% изображений. В выборку также попадали коды семейного анамнеза, обследований и уже перенесённых состояний, которые не всегда означали текущий диагноз.
Разделение по пациентам убрало победителей
В исправленном протоколе один пациент целиком попадал только в одну часть данных. Метки заново строили для соответствующей госпитализации, а правила для диагнозов уточняли по смыслу кодов. Порог решения, метод работы с редким классом и модель выбирали только на внутренней проверочной части.
Авторы сравнили логистическую регрессию, деревья и градиентный бустинг, а также увеличение доли редкого класса, веса классов и сбалансированные ансамбли. В качестве контрольных вариантов использовали таблицу поиска и предсказание всех случаев положительными.
Основной показатель, F2, в четыре раза сильнее учитывает полноту, чем точность положительных ответов. Макроусреднение сначала считает результат для каждого диагноза, а затем даёт им одинаковый вес. Такая метрика подходит для сравнения моделей в задаче предварительного отбора, но сама по себе не доказывает клиническую пригодность.
После исправлений ни один проверенный способ борьбы с дисбалансом не прибавил к средней F2 больше 0,01 относительно обучения без увеличения выборки. Настроенные ансамбли деревьев также не получили устойчивого преимущества перед логистической регрессией. Выбор метода перестал определять результат, когда модели больше не могли запоминать пациентов.
Полезный сигнал сохранился в истории диагнозов, доступной на момент снимка, и в признаках изображения. Обычные показатели из выпущенного набора EHR остались на уровне базового правила. Добавление изображения к истории диагнозов не дало статистически значимого прироста F2.
Результат RAD-DINO нужно читать осторожно: при предварительном обучении энкодер уже видел 96,6% снимков, хотя и без целевых меток. Контрольный DenseNet, обученный на CheXpert без этих изображений, подтвердил наличие сигнала в снимках при уточнённой разметке, но не подтвердил пользу объединения снимка с историей диагнозов.
Планы меняет протокол, а не новый алгоритм
Работа не предлагает ещё один предпочтительный метод увеличения редкого класса. Она показывает, что рейтинг таких методов нельзя интерпретировать, пока команда не проверила единицу разбиения, время появления признаков и источник каждой метки.
Для датасетов с повторными обследованиями разбиение следует делать по пациенту. Если цель относится к конкретному приёму или госпитализации, оценивать модель нужно на том же уровне. Иначе модель может учить постоянный идентификатор человека, а метрика будет выдавать это за способность распознавать заболевание.
В проверочный набор стоит включить простую таблицу поиска по совпадающим признакам. Если она приближается к обучаемым моделям, признаки, скорее всего, позволяют восстановить пациента или другую скрытую группу. Отдельный базовый вариант, который всегда выбирает частый или положительный класс, показывает, извлекает ли модель сигнал вообще.
Разметку по медицинским кодам нужно восстанавливать до исходной записи: какой код сработал, к какой госпитализации он относится и был ли он известен на момент прогноза. Одного совпадения по ключевому слову недостаточно, если оно захватывает анамнез, обследование или отрицание диагноза.
Границы вывода узкие: проверяли один набор из одной больничной системы, а энкодеры изображений не дообучали. Лабораторные показатели и жизненные параметры не выровняли по времени снимка; корректно по времени собрали только возраст и историю диагнозов. Поэтому работа меняет порядок проверки продукта, но не устанавливает универсальный рейтинг моделей для медицинской диагностики.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
