Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Обычная графовая нейросеть смогла предсказывать связи в незнакомых графах без дообучения и специализированной архитектуры. Хотя препринт Camille Pradel из Matr не рецензировали и числа рассчитала сама автор работы, стандартный GAT почти сравнялся с ULTRA на семействах данных, которых обе модели не видели при обучении. Для продуктовой команды это переносит главный архитектурный выбор с модели на слой представления данных.
Как граф получает общий словарь отношений
В обычном графе знаний факт хранится как тройка: субъект, тип отношения и объект. Например, Paris связан с France отношением capital_of. Типы отношений отличаются между наборами данных, поэтому модель, которая хранит для них отдельные параметры, не может напрямую обработать новый граф.
Работа предлагает реифицировать граф: превратить каждый факт в отдельный узел. Этот узел соединяют с субъектом, объектом и типом отношения через шесть фиксированных метаотношений, включая обратные направления. Типы отношений тоже становятся анонимными узлами: модель различает их по месту в графе, а не по имени или обученному вектору.
После такого преобразования любой набор данных использует один структурный словарь. Модель видит узлы сущностей, фактов и типов отношений, а также одинаковый набор связей между ними. Когда несколько фактов относятся к одному типу, они указывают на общий узел, поэтому сходство отношений записано в структуре.
Для запроса модель отмечает исходную сущность и нужный тип отношения, затем распространяет эти признаки по графу. Этого хватает стандартным GAT, GINE, GraphSAGE и R-GCN: специальные блоки для переноса между словарями отношений им не нужны.
Модели обучали на графе из 4 245 фактов в течение 30 минут на NVIDIA A100. Они не получали названия сущностей и отношений, текстовые признаки или параметры конкретного набора данных. Поэтому эксперимент проверяет именно перенос структурных закономерностей, а не совпадение терминов.
GAT приблизился к ULTRA на незнакомых семействах графов
Все проверенные архитектуры перенесли обучение на 40 индуктивных наборов, где требуется работать с ранее не встречавшимися сущностями или отношениями. Лучшим оказался GAT — графовая нейросеть с механизмом внимания.
На полном наборе GAT получил 0,3565 против 0,3732 у ULTRA. Это средний обратный ранг: чем он выше, тем ближе правильная сущность оказывается к началу списка кандидатов. ULTRA сохранила преимущество, поэтому работа не показывает новое лучшее качество.
На панели, где семейства графов не встречались при обучении ни одной из моделей, разрыв почти исчез: 0,3600 у GAT против 0,3617 у ULTRA. Здесь сравнение лучше отделяет перенос общей структуры от знакомства с похожими данными.
Часть оставшегося отставания связана с изолированными сущностями. Обычный выходной слой выдавал им одинаковые представления и не мог уверенно ранжировать кандидатов. Варианты, где выходной слой учитывал сам запрос, исправляли значительную часть проблемы, но не закрывали разрыв полностью.
Границы эксперимента узкие: проверяли структурное предсказание связей в графах без текстов и других признаков. Специализированные наследники ULTRA публикуют более высокие результаты, а обучение на единственном небольшом графе не показывает, как подход поведёт себя на крупной смеси данных.
Представление стоит проверить до замены архитектуры
Работа не даёт причины сразу отказываться от ULTRA или другой специализированной модели. Она даёт более дешёвый архитектурный эксперимент: сохранить знакомый стек графовых нейросетей и вынести переносимость в преобразование данных. Такой вариант особенно уместен, когда схемы часто меняются, а названия отношений нельзя использовать как надёжный признак.
Цена переноса — размер графа. Реификация увеличивает число узлов примерно в ×20 и удлиняет пути, потому что сообщение между сущностями проходит через узел факта. На крупных графах это требует более глубокой сети и раньше упирается в память при обработке всего графа целиком.
Тот же словарь можно применить к реляционной базе: строка становится сущностью, ячейка внешнего ключа — фактом, а столбец ключа — типом отношения. В предварительной проверке на незнакомых базах модель работала без значений ячеек, текста схемы и примеров с правильными ответами. После обучения на нескольких графах знаний она ранжировала цели внешних ключей лучше случайной модели и эвристики по числу входящих связей.
Этот результат пока подтверждает только совместимость представления. Проверка охватывает небольшой набор баз, не сравнивает подход с обученным специалистом и не показывает полноценную модель для табличных данных. Модели, обученной на единственном графе, для такого переноса оказалось недостаточно.
Практичный следующий шаг — параллельный прототип на собственных данных: одинаковые запросы, обычное и реифицированное представление, один и тот же GNN. Сравнивать следует не только качество ранжирования, но и память, время построения графа и глубину распространения признаков. Если стоимость преобразования приемлема, специализированную архитектуру можно оставить контрольной моделью, а не обязательным основанием системы.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
