Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Совместимость двух моделей научились оценивать до их согласования или объединения. Работа EPFL, University of Basel и HSLU не рецензирована, а числа получили сами авторы: COMPASS достиг коэффициента корреляции Пирсона 0,91 для межмодального согласования и 0,70 для объединения весов. Это позволяет сначала ранжировать пары, а затем запускать дорогие эксперименты только для перспективных вариантов.
COMPASS прогоняет небольшой набор примеров через каждую модель и сравнивает локальные представления: какие объекты модели считают ближайшими соседями. Первую оценку, «лёгкость», считают для конкретной пары. Вторую, «потолок», определяют по совместимости подходов к предобучению, поскольку разные цели обучения могут задавать несовпадающие представления даже после дополнительной оптимизации.
Произведение двух оценок задаёт общий рейтинг, а их сочетание подсказывает действие. Пару с высокими значениями по обеим осям стоит проверять первой. Низкая «лёгкость» при высоком «потолке» означает, что могут помочь дополнительные данные или вычисления; низкий «потолок» указывает, что разумнее сменить подход к предобучению. Пары с низкими значениями по обеим осям можно отложить.
На межмодальном согласовании COMPASS проверили в 72 экспериментах с визуальными и текстовыми кодировщиками на Flickr30k и COCO. Для объединения весов провели 392 опыта с контрольными точками ViT, дообученными на задачах классификации изображений. В обоих сценариях локальное сходство лучше предсказывало итог, чем CKA — мера сходства всей геометрии представлений.
COMPASS не заменяет итоговую проверку качества: он ранжирует кандидатов до неё. Выводы пока относятся к двум изученным сценариям — согласованию визуальных и текстовых моделей и арифметическому объединению весов ViT. Для команд с библиотекой контрольных точек метод полезен как предварительный фильтр, который требует только прямых прогонов на пробном наборе, а не обучения каждой возможной пары.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
