Журнал · Rit.work

Правильный диагноз не делает клинический ИИ безопасным

Проверка клинических ИИ-систем по итоговому диагнозу скрывает опасные промежуточные решения, а исправление одной ошибки может создать новый риск.

Rit.work
Студия разработки
18 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

У клинических ИИ-систем обнаружили опасные промежуточные решения даже в случаях с правильным итоговым диагнозом. В 55,2% успешных траекторий встречалось решение с умеренным или серьёзным потенциальным вредом, хотя препринт не рецензирован и числа получили сами авторы. Для оценки медицинского продукта одной точности диагноза недостаточно: нужно проверять весь путь от поступления пациента до заключения.

Метод ClinTraj воспроизводит историю болезни по этапам. На каждом этапе система видит только сведения, которые были доступны врачу к этому моменту, и предлагает диагнозы, обследования, лечение и дальнейший маршрут пациента. Модель-оценщик отдельно проверяет клиническую обоснованность каждого решения и возможный вред, а врачи калибруют оценки по выбранной части траекторий.

Такой подход выявляет ошибки, которые итоговая метрика скрывает: пропущенное срочное действие, преждевременное прекращение поиска причин или необоснованную выписку. Система может позже прийти к верному диагнозу, но пациент к этому моменту уже прошёл через потенциально опасную рекомендацию. Поэтому модели, близкие по точности итогового диагноза, могут различаться по безопасности промежуточных шагов.

Авторы также разветвляли траекторию на первой исправимой ошибке. Структурированная подсказка, где указаны проблема, правильное действие и клиническое обоснование, устраняла исходную ошибку примерно втрое чаще — в 73,6% случаев, — чем простая команда пересмотреть решение. Но после такого исправления новые потенциально опасные действия появлялись в полтора раза чаще — в 30,2% продолжений. Контроль должен измерять не только исправление исходной ошибки, но и безопасность следующих шагов.

Проверка охватила 300 случаев: госпитализации из кардиологического отделения, записи MIMIC-IV и задачи ASCENT. На больничных данных сравнивали несколько закрытых систем и моделей с открытыми весами; на двух остальных источниках запускали самостоятельно размещённые модели. Эти условия показывают результат на последовательных клинических задачах, но не заменяют проверку на конкретном профиле пациентов и сценарии внедрения.

При выборе клинического ИИ в критерии приёмки стоит включать долю безопасных траекторий и последствия корректирующей обратной связи. Иначе система пройдёт тест по финальному ответу, хотя её рекомендации по ходу работы нельзя безопасно использовать.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу