Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Стиль эталонного рентгенологического отчёта способен поменять победителя при сравнении моделей, даже если клинический смысл остаётся прежним. В препринте команды Carnegie Mellon University, Allegheny Health Network, Highmark Health и Johns Hopkins University, который ещё не прошёл рецензирование, все числа получены самими авторами: после сокращения описаний нормальных находок Libra уступила лидерство CheXOne. Значит, один эталонный отчёт не всегда годится для выбора модели под клинику.
Как ReRef отделяет содержание от манеры изложения
Радиологи могут одинаково интерпретировать снимок, но по-разному оформить результат. Один перечислит отсутствие пневмоторакса и плеврального выпота, другой ограничится фразой об отсутствии острых изменений. Автоматическая метрика может принять совпадение слов и структуры за более точный клинический ответ.
Авторы разделили различия между отчётами на четыре группы: организацию, полноту, детализацию и язык. Внутри них меняются структура текста, распределение сведений между разделами, объём описания нормальных находок, анатомическая точность, наличие измерений, терминология, выражение неопределённости и способ отрицания патологий.
Метод ReRef получает исходный эталон и требуемый стиль, после чего o3 создаёт альтернативную версию. Вторая копия o3 проверяет, соответствует ли текст выбранному стилю и сохранились ли диагноз и предполагаемая тактика лечения. Если проверка не проходит, генератор повторяет попытку, но не добавляет недостающие клинические сведения ради нужной формы.
Например, ReRef может заменить подробный перечень нормальных органов кратким выводом и оставить ключевые отклонения. Но он не должен превращать качественное описание увеличенного сердца в точное измерение, если такого измерения не было в исходном отчёте.
Реалистичность и клиническую эквивалентность переписанных текстов проверяли 13 сертифицированных радиологов на 480 парах. При разногласии пример передавали дополнительному специалисту. Для дальнейших исследований подготовлен MIMIC-CXR-Ext-ReRef со 120 проверенными парами исходных и альтернативных отчётов.
Сжатие нормальных находок сменило лидера
Проверка охватила девять открытых моделей на четырёх наборах рентгенограмм грудной клетки: MIMIC-CXR, CheXpert Plus, IU X-ray и ReXGradient-160K. Модели создавали раздел Findings по снимкам и контексту текущего исследования, без предыдущих снимков и отчётов.
На MIMIC-CXR метрика RadCliQ-v1 сначала ставила Libra выше CheXOne. После того как эталоны стали короче и сосредоточились на отклонениях, Libra опустилась на второе место, а CheXOne поднялась с третьего на первое. Клиническая интерпретация эталонов при этом должна была оставаться прежней.
Перестановки возникали не только у RadCliQ-v1: все проверенные метрики хотя бы при некоторых изменениях стиля отклонялись от исходного рейтинга. Для большинства метрик менялись и статистически различимые попарные сравнения. Среди клинических метрик RadCliQ-v1 показала наибольшую медианную чувствительность к стилю эталона.
Работа проверяет генерацию только раздела Findings для рентгенограмм грудной клетки. Перенос находки на другие виды исследований, полные отчёты и сценарии с историей пациента потребует отдельной проверки. Кроме того, ReRef работает на закрытой o3, поэтому другая LLM в ролях генератора и проверяющей модели может дать иные варианты текста.
Что менять в плане оценки модели
Рейтинг по одному эталону теперь стоит трактовать как сочетание двух свойств: клинической точности и соответствия принятой манере отчёта. Если стиль эталона совпадает со стилем одной модели, метрика может наградить её за форму, хотя конкурент передаёт те же находки другими словами.
Перед пилотом следует сначала зафиксировать требования к выходному отчёту: какие разделы нужны, требуется ли перечислять нормальные находки, насколько подробно описывать анатомию и как обозначать неопределённость. Затем эталоны нужно собирать из той среды, где модель будет работать. Соответствие местным правилам само по себе может быть частью качества, но его не следует путать с клинической точностью.
Для сравнения моделей разумно использовать несколько клинически эквивалентных эталонов и показывать не только средний балл, но и устойчивость рейтинга к стилю. ReRef предлагает способ получить такие варианты без повторного написания каждого отчёта радиологом, однако созданные тексты всё равно требуют выборочной проверки специалистом.
Детализированный ответ нельзя надёжно оценить по краткому эталону: тот не позволяет отличить верное дополнительное наблюдение от выдуманного. Поэтому полнота эталона должна соответствовать тому, что команда хочет проверить. Практический вывод работы не в замене одной метрики другой, а в отказе от единственного случайно выбранного способа изложения как окончательного критерия выбора модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
