Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Из разрозненных клинических таблиц научились извлекать общие причинные связи и передавать их табличной модели без дообучения. В работе ETH Zürich и партнёров графовый F1, который сводит точность и полноту восстановления связей, вырос с 0,63 до 0,71; поскольку препринт не рецензировали, все числа в нём получили сами авторы. Команда может оставить веса TabPFN неизменными, но направить внимание модели на переменные из причинного графа.
Как общая часть графа дополняет отдельные когорты
Задача возникает, когда несколько когорт описывают один процесс, но фиксируют разные переменные и содержат пропуски. Простое объединение таблиц создаёт ещё больше пустых ячеек, а независимый анализ каждой когорты теряет связи, которые видны только в нескольких источниках.
Сначала названия и смысл переменных выравнивают между когортами. Пропуски временно заполняют медианой для числовых признаков и наиболее частым значением для категориальных. Это начальная точка, а не окончательная подготовка данных.
На переменных, которые присутствуют во всех когортах, строят общий частичный предковый граф. Такой граф показывает направленные и ещё не разрешённые связи, допускает скрытые общие причины и не требует считать каждую найденную стрелку окончательно установленной.
Поиск ограничивают знаниями о времени измерения. Например, показатель при поступлении может влиять на длительность госпитализации, но результат, полученный при выписке, не может быть её причиной. Эти правила запрещают направления, которые противоречат порядку событий.
Общий граф затем добавляют в граф каждой когорты. Поддержанные несколькими источниками рёбра сохраняют, а отсутствующие в общей части связи можно запретить. Проверка вариантов метода показала, что основной вклад даёт именно перенос общих рёбер, а не одни лишь ограничения для поиска.
После этого алгоритм заново заполняет пропуски. Для каждой переменной он использует её марковское одеяло — минимальный набор соседних переменных, после учёта которого остальные уже не добавляют сведений для прогноза. Граф и заполненная таблица обновляются по очереди, пока структура не стабилизируется.
В клинических данных объединение связало возраст, альбумин и гемоглобин с длительностью госпитализации как причинные предшественники. Ни одна когорта по отдельности не восстановила весь этот набор. Тесты условной независимости, которые работали прямо с пропусками, давали почти пустые графы и иногда полностью изолировали целевой показатель.
Как причинный граф направляет внимание TabPFN
Обычная замороженная TabPFN принимает таблицу, но не отдельный причинный граф. Под замороженной здесь понимается модель, чьи веса не меняют. Авторы преобразуют связи графа в добавку к механизму внимания и применяют её только во время вывода.
Выбор переменных зависит от ожидаемого сдвига данных. Если меняется сам механизм, который порождает целевой показатель, внимание направляют на его причинных предшественников. Если меняется распределение входных признаков, используют марковское одеяло цели.
Силу такого управления подбирают на проверочной части данных, не заглядывая в тестовую. При сдвиге распределения прирост AUROC — площади под ROC-кривой — составил 0,011. Когда проверочный и тестовый сдвиги совпадали, прирост достигал 0,029.
Случайный граф улучшения не дал. Чем больше истинных связей содержал переданный граф, тем сильнее росло качество. Значит, эффект связан не с произвольным изменением внимания, а с содержанием причинной структуры.
Когда работа меняет план разработки
Подход стоит учитывать командам, которые строят табличные модели на нескольких частично пересекающихся наборах данных. Вместо раннего объединения всех столбцов можно выделить общий набор переменных, восстановить на нём устойчивые связи, перенести их в отдельные графы и только затем выбирать признаки или направлять TabPFN.
Для внедрения понадобится формализовать порядок измерений и заранее определить ожидаемый тип сдвига. Без временных правил граф хуже различает допустимые и невозможные направления, а выбор между причинными предшественниками и марковским одеялом зависит от того, что именно изменится после запуска.
Масштаб проверки пока соответствует небольшим таблицам: синтетические графы содержали от 6 до 30 переменных и от 200 до 1000 строк. Реальная часть охватывала две когорты травмы спинного мозга на 250 и 266 наблюдений. Поэтому работа обосновывает пилот для клинических и похожих малых данных, но не перенос результата на широкие корпоративные таблицы автоматически.
Есть и вычислительная граница. Полный повтор объединения графов внутри каждого внешнего разбиения перекрёстной проверки оказался непрактичным: поиск не завершался на плотных обучающих подвыборках. Авторы заменили его упрощённой схемой, которая повторно строит граф отдельной когорты. Команде придётся учитывать стоимость полной проверки и следить, чтобы построение графа не использовало сведения из тестовой части.
Практический результат состоит не в замене табличной модели. Работа добавляет перед ней слой причинного поиска, а после него — способ использовать найденную структуру без обучения новых весов. Это позволяет отдельно проверять качество графа, правила времени и влияние управления вниманием.
Источники
Иллюстрация: рисунок из статьи «Causal graph fusion across incomplete cohorts and causal steering of tabular foundation models», Yanke Li, Dhiyaa Al Jorf, Ayoube Ighissou и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
