Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Для мультимодальной задачи научились заранее выбирать одну из трёх схем, не обучая все варианты целиком. В препринте Yi Fang, Gaurav Srivastava, Sirui Ding и Xuan Wang, который не прошёл рецензирование и приводит замеры самих авторов, такой селектор находил лучший вариант в 71,4% случаев против 54,2% у выбора только по типу задачи и бюджету данных. Это превращает архитектурное решение из общего правила в проверяемую гипотезу о конкретных данных.
Три схемы различаются моментом объединения данных
Joint начинает с кодировщиков, которые уже совместно обучали на парных данных разных модальностей. Их веса замораживают, а для целевой задачи обучают модуль объединения и выходной слой.
Decoupled берёт кодировщики, предварительно обученные независимо друг от друга. Общего пространства представлений у них может не быть: связь между модальностями формирует только обучаемый модуль объединения на размеченных примерах целевой задачи.
Agent не обучает единый модуль для принятия решения. Замороженная LLM получает инструкцию, примеры с ответами, доступный текст и результаты отдельных моделей для каждой модальности. Изображение, звук или молекулярная структура попадают в LLM только через эти результаты; в основной конфигурации использовали Qwen3-32B.
Схемы проверяли на 16 парных наборах данных из пяти областей: в классификации, регрессии и ответах на вопросы с вариантами. Полная сетка включала 144 сочетания набора данных и бюджета разметки. Кодировщики оставались замороженными, а обучаемые компоненты подбирали по отдельной контрольной выборке, метки которой не входили в заявленный бюджет.
Такой протокол сравнивает не абстрактные классы архитектур, а конкретный набор общедоступных моделей и способов объединения. Победителем считалась схема с лучшим средним качеством на общей тестовой выборке; стоимость эксплуатации в эту оценку не входила.
Бюджет разметки меняет победителя вместе с форматом задачи
Единой лучшей схемы не оказалось. ScienceQA, MELD и MetMeme переходили от Agent к обучаемому объединению по мере роста размеченной выборки. На CrisisMMD зависимость была немонотонной: увеличение бюджета не вело к последовательному движению в сторону одной архитектуры.
Joint чаще выигрывал там, где вопрос и каждый вариант ответа нужно сопоставить с другой модальностью. Он лидировал на четырёх из пяти наборов с вопросами и вариантами ответа при всех проверенных бюджетах. Совместное предварительное обучение здесь помогает сравнивать связанные пары, а не только извлекать признаки из каждого входа отдельно.
Decoupled чаще оказывался предпочтительным в классификации, если независимые представления уже хорошо разделяли целевые классы. Это проверяли простым диагностическим тестом: насколько точно класс объекта восстанавливается по ближайшим примерам внутри каждой модальности. Чем полезнее были отдельные представления, тем меньше пользы давало их предварительное совместное выравнивание.
Agent лучше проявлял себя при малом объёме разметки и там, где LLM могла использовать смысл вопроса, вариантов ответа и названий классов. Но сам факт подключения LLM не гарантировал пользу от мультимодальности. На AI2D вариант только с LLM обошёл полный Agent, а на CUB модель по изображению почти сравнялась с Decoupled.
Селектор сначала решал, нужен ли Agent или обучаемое объединение, затем выбирал между Joint и Decoupled. Он учитывал геометрию представлений, связь признаков с целевыми метками, совпадение текста с названиями классов, формат задачи и доступный бюджет. Проверка шла на наборах данных, которые не участвовали в настройке селектора.
Командам нужен этап диагностики, а не новый вариант по умолчанию
Работа меняет прежде всего порядок архитектурного выбора. Вместо решения «всегда использовать совместно обученную модель» или «передать всё LLM» можно сначала проверить, где уже находится полезный сигнал: в отдельных модальностях, в их совместном представлении или в тексте, доступном языковой модели.
- Joint стоит включать в короткий список, если задача требует сопоставлять вход с текстовыми кандидатами и доступна подходящая совместно обученная модель.
- Decoupled стоит проверять раньше, если отдельные кодировщики уже хорошо отделяют нужные классы и есть размеченные парные примеры для обучения объединения.
- Agent имеет смысл тестировать при малом бюджете, если названия классов, инструкции и текст примера несут самостоятельный сигнал.
Это подсказки для отбора кандидатов, а не правила выбора. Диагностика всё равно требует парных целевых данных, а часть признаков — разметки. Agent также зависит от бюджета: на размеченных примерах обучаются модели, которые передают LLM сведения об отдельных модальностях.
Стоимость может отменить выигрыш по качеству. Оценочное число операций с плавающей точкой при выводе у Agent было в 360–3000 раз выше, чем у схем с обучаемым объединением. Поэтому селектор полезнее использовать как фильтр для испытаний, после чего сравнивать оставшиеся варианты уже по задержке, цене инфраструктуры и допустимой ошибке продукта.
Результат также зависит от конкретной реализации. Выбор модуля объединения менял победителя на PDBbind, а полезность специализированных кодировщиков различалась между задачами. Практический вывод состоит не в том, чтобы добавить четвёртую универсальную архитектуру, а в том, чтобы закрепить диагностику данных перед дорогим сравнением всех трёх.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
