ICE сохраняет геометрию связей в мультимодальном графе

Одну базовую модель научили сохранять и признаки сущностей, и возникающие между ними отношения, не сводя всё к одному вектору. Команда Xunkai Li представила ICE: хотя препринт не рецензирован и числа получили сами авторы, модель заняла первое место во всех 30 сравнениях. Такой подход позволяет менять задачу поверх общего кодировщика, не обучая заново представление графа.

Обычная мультимодальная модель объединяет текст, изображение и структуру графа в один евклидов вектор узла. ICE размещает их в разных координатах алгебры Clifford, а при передаче данных по рёбрам вычисляет геометрическое произведение. Оно раздельно хранит совпадение признаков и направленные отношения между ними.

Модель не сжимает результат после последнего слоя. Она сохраняет признаки разных алгебраических степеней и этапов распространения в латентном поле, привязанном к узлам. Отдельный защищённый маршрут удерживает исходную семантику сущности, а новая головка задачи выбирает нужные части поля: состояние одного узла для классификации или пару состояний для прогноза связи.

На классификации узлов преимущество ICE над ближайшим результатом достигало 2,36 процентного пункта, а на прогнозировании связей по средней обратной позиции правильного ответа — 1,64 пункта. Удаление геометрического произведения снизило итоговую метрику связей на 1,51 пункта. Удаление защищённого семантического маршрута сильнее всего ударило по Macro-F1, которая одинаково учитывает каждый класс: падение составило 1,40 пункта.

Один общий кодировщик обучали на одиннадцати графах без целевых меток, затем проверяли с новыми головками на шести наборах для классификации узлов и трёх для прогноза связей. Испытания охватывали обычное обучение и режим с малым числом размеченных примеров. Поэтому результат показывает перенос внутри заявленного набора текстово-визуальных графов и двух типов задач.

Источники

• ICE: Task-Aligned Clifford Latent Fields for Multimodal Graph Foundation Models