LLM дополнила онтологический поиск редких заболеваний

Исследователи из University of Glasgow и партнёрских организаций разработали модель, которая объединяет список диагнозов LLM с результатами онтологического ранкера Phenomizer, — работа представлена в препринте, не проходившем рецензирования. По замерам авторов, доля случаев с правильным диагнозом на первом месте выросла на 7,86 процентного пункта на Phenopacket Store. Результат важен для команд, которые создают медицинские системы поддержки решений и не могут заменить проверяемые основания непрозрачным ответом LLM.

Что сделали

Phenomizer сопоставляет признаки пациента с профилями заболеваний из Human Phenotype Ontology и ранжирует кандидатов. LLM независимо строит свой список по наблюдаемым и исключённым признакам, возрасту, полу и времени появления симптомов, если эти сведения присутствуют.

Авторы обучили общий оценщик определять вес каждого списка для конкретного случая. Он учитывает согласие между системами, выраженность лидирующих кандидатов, соответствие признакам пациента и объём онтологических данных по заболеванию. После этого ранги объединяются, причём диагноз LLM может попасть в итоговый список, даже если Phenomizer его не предложил.

Перед проверкой авторы удалили из онтологии связи, основанные только на той же публикации, из которой взят тестовый случай. Это снижает утечку ответа через общий первоисточник. На RAMEDIS объединение повысило долю правильных диагнозов на первом месте на 20,18 процентного пункта. Для 90,8% правильных итоговых ответов сохранились доступные для проверки фенотипические основания Phenomizer.

Что это значит

Работа предлагает использовать LLM не как замену структурированному диагностическому инструменту, а как дополнительный источник кандидатов. Такой подход разделяет генерацию гипотез и проверяемое сопоставление с фенотипами: LLM расширяет поиск, а онтология сохраняет основание для анализа большей части правильных ответов.

Ограничения. Авторы проверяли ранжирование заболеваний по фенотипам на 2 227 тестовых случаях Phenopacket Store и 624 случаях RAMEDIS; клиническую валидность и автономную диагностику работа не устанавливает. Анализ общего первоисточника относится только к Phenopacket Store и HPOA и не проверяет обучающие данные LLM. В сравнении нет равноправной проверки с клиническим режимом Exomiser, который использует варианты генома. На RAMEDIS обучаемое взвешивание также не показало статистически различимого преимущества перед обычным объединением обратных рангов.

Источники

• Learning to Fuse LLMs with Ontology Rankers for Rare-Disease Diagnosis

Иллюстрация: рисунок из статьи «Learning to Fuse LLMs with Ontology Rankers for Rare-Disease Diagnosis», Zhaoyang Jiang, Zhizhong Fu, Yunsoo Kim и др., CC BY 4.0