Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модели с почти одинаковой точностью следующего события могут вести себя совершенно по-разному, когда продолжают медицинскую историю на собственных ответах. В препринте Zhen Xuen Brandon Low из Monash University, который не прошёл рецензирование и приводит замеры самого автора, точность трёх архитектур различалась лишь на 0,001, но их длинные симуляции расходились по составу и завершению визитов. Поэтому модель, которая хорошо предсказывает ближайшее действие врача, ещё не готова имитировать поток пациентов.
Почему правильный следующий шаг не гарантирует траекторию
Обычная проверка показывает модели реальную историю визита и просит предсказать следующее событие: анализ, лекарство, обследование или выписку. После каждого ответа модель снова получает правильную историю. Ошибка не меняет входные данные для следующего прогноза.
В симуляции модель продолжает собственную последовательность. Ошибочно выбранное обследование попадает в историю, влияет на следующий ответ и может направить весь визит по другой ветке. Модель начинает повторять события, сокращать интервалы между ними или не выдаёт служебное событие END, которое завершает траекторию.
Так возникает разрыв между прогнозом и симуляцией. Он включает два вида сбоев: модель может ошибаться уже на первом сгенерированном шаге либо постепенно отклоняться от реальных данных, когда её ответы накапливаются в контексте. Одна итоговая точность не различает эти случаи.
Работу проверяли на 425 028 визитах из MIMIC-IV-ED, а основной вывод воспроизвели на MC-MED. В сравнение вошли Transformer, GRU, LSTM, декодерная модель и модели, которые считают переходы между событиями. Два представления данных описывали процессы отделения неотложной помощи, а не диагнозы и полное состояние пациента, поэтому вывод относится прежде всего к симуляторам последовательностей клинических событий.
Как EDSim-Bench обнаруживает накопление ошибок
EDSim-Bench запускает модель с разных точек реального визита. После стартового фрагмента она сама генерирует продолжение, пока не выдаст END или не достигнет заданного предела. Проверка охватывает не только визиты, начатые с момента приёма, но и продолжения из середины процесса, где контекст сложнее.
Бенчмарк отдельно оценивает завершение визита, состав событий, интервалы между ними, соответствие продолжения исходному фрагменту и прогноз занятости отделения. Для состава событий используют расхождение Дженсена — Шеннона: чем оно меньше, тем ближе частоты сгенерированных событий к реальным.
Ориентиром служит простая модель по тройкам событий, обученная только на тренировочной части данных. Она не считается наилучшим возможным симулятором, но задаёт минимальный уровень: сложная нейросеть должна хотя бы не проигрывать счётчику коротких переходов.
У моделей Transformer, обученных одним и тем же способом с разной случайной инициализацией, доля корректно завершённых симуляций менялась от 43 до 96 процентов. Расхождение по составу событий превышало уровень простой модели в 4,2–137 раз. Один контрольный запуск поэтому может показать удачный результат для нестабильной схемы обучения.
Архитектуры ошибались по-разному. Рекуррентные модели начинали близко к реальному распределению событий, а затем постепенно уходили от него. Transformer мог быть неверно откалиброван уже на первом шаге. Изменение правил выборки, ограничения допустимых переходов и смешивание с моделью переходов улучшали отдельные показатели, но не восстанавливали одновременно завершение, состав событий и время.
Что менять в планах разработки симулятора
Главное изменение касается обучения. Стандартные модели получали сигнал об ошибке только для последней позиции выбранного фрагмента. Когда сигнал применяли ко всем допустимым позициям последовательности, расхождение по составу событий снижалось на один-два порядка у Transformer, GRU и LSTM. Эффект сохранялся при увеличении модели, временном сдвиге данных и проверке в другой больничной системе.
Это не превращает точность следующего события в бесполезную метрику. Она подходит продуктам, которые делают один прогноз по подтверждённой истории. Но если выход модели возвращается на вход — в симуляторе потока пациентов, генераторе сценариев или системе планирования ресурсов, — к приёмочным испытаниям нужен полный прогон траекторий.
В такой проверке стоит использовать несколько случайных инициализаций, запускать генерацию из разных частей процесса и заранее разделить критерии завершения, состава событий и времени. Отдельно нужен прикладной показатель, ради которого строят симулятор. В работе им стал прогноз занятости: порядок моделей по этому показателю отличался от порядка по качеству состава событий.
Даже лучшая по составу событий модель генерировала визиты примерно вдвое короче реальных. Значит, улучшение одной метрики нельзя превращать в общий допуск к эксплуатации. EDSim-Bench полезен не как новый единый рейтинг, а как шаблон испытаний, который показывает разные способы отказа до подключения модели к планированию коек или персонала.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
