Контроль частоты ошибок пропустил промах на 271 мм

Гарантия допустимой частоты грубых ошибок не помешала системе измерения головы плода ошибиться на 271,3 мм. В препринте Zhengshuai Yang и коллег, который не проходил рецензирование и содержит замеры самих авторов, предел риска в 10% сохранился даже после такого промаха. Для систем, которые отвечают только при достаточной уверенности, одной калибровки этой уверенности недостаточно.

Авторы проверили PUMA: система выделяет контур головы на ультразвуковом снимке, вписывает в него эллипс, переводит размер в миллиметры и решает, вернуть результат или отказаться. Решение зависит от полноты контура. Контроль риска подбирает порог так, чтобы ограничить долю ответов с грубой ошибкой, но ничего не говорит о размере отдельного промаха.

Сбой вызвало небольшое гладкое кольцо на ярком участке у границы черепа. Геометрически оно выглядело полным и получило оценку 0,94, поэтому прошло фильтр, хотя соответствовало не голове плода. Одна такая ошибка среди примерно 150 ответов не нарушила предел по частоте: сертификат сработал правильно, но не защитил от редкого результата с неверным масштабом.

Нижняя граница допустимого измерения оказалась полезнее порога полноты. Её сдвиг с 50 до 55 мм сократил максимальную ошибку примерно до 11 мм на обоих разбиениях данных и уменьшил долю выданных ответов лишь на 0,4 процентного пункта. Попытка убрать тот же класс сбоев через оценку полноты стоила до 19 процентных пунктов покрытия.

Проверку провели на 999 размеченных изображениях HC18, разделённых двумя заранее заданными способами; модель сегментации обучали повторно. Это ретроспективный аудит одной измерительной задачи с разделением на уровне изображений. Практический вывод шире: если для измеряемой величины известен физически или анатомически правдоподобный диапазон, его нужно задавать отдельно, а не считать высокой оценкой уверенности заменой проверки допустимости.

Источники

• Risk Control Certifies Rates, Not Magnitudes: An Audit of Selective Fetal Biometry