Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Небольшую текстовую модель научили отвечать по изображению, не пересказывая ей картинку словами. На CLEVR точность выросла с 58,3% до 81,0% по сравнению с текстовой передачей при сопоставимой адаптации. Работа Microsoft Applied Sciences Group не прошла рецензирование, а все числа получили сами авторы.
Как зрительные признаки обходят текст
В обычной модульной схеме зрительно-языковая модель VLM рассматривает изображение и пишет описание, после чего небольшая языковая модель SLM строит ответ. Между моделями можно провести понятную и проверяемую границу, но текст плохо передаёт взаимное расположение объектов, мелкие признаки и другие детали сцены.
Latent-Lens заменяет описание скрытыми состояниями VLM. Зрительно-языковая модель обрабатывает изображение и вопрос, а кодек забирает признаки из ранней, средней и поздней частей её преобразователя. Внутри каждой части он усредняет состояния последнего токена, поэтому на выходе получает три вектора с признаками разных уровней.
Общий двухслойный проектор переводит эти векторы в пространство представлений SLM. Затем они становятся служебными префиксами перед текстом вопроса: языковая модель видит их на каждом шаге генерации, хотя в её словаре таких токенов нет.
Обе исходные модели остаются замороженными. Обучаются проектор и адаптеры LoRA в механизме внимания SLM: они меняют проекции запросов и значений, чтобы модель использовала незнакомый зрительный сигнал. Для основной пары потребовалось 1,6 млн обучаемых параметров, или 0,2% от общего размера моделей.
Такое разделение важно для модульной системы. VLM не приходится учить говорить на языке другой модели, а SLM — превращать в полноценную зрительно-языковую модель. Кодек согласует два уже существующих пространства представлений.
Текст сильнее всего проиграл на пространственных задачах
Основное сравнение использовало SmolVLM-256M и Qwen2.5-0.5B. Текстовый вариант сначала генерировал ответ или описание через VLM, а затем передавал его SLM. Отдельная версия получила такой же бюджет LoRA, поэтому выигрыш Latent-Lens нельзя объяснить только тем, что языковую модель дополнительно адаптировали.
На GQA, где вопросы относятся к реальным фотографиям и текстовые подсказки уже передают часть содержания, преимущество составило 3,6 процентного пункта. На Flickr8k прибавка достигла 16,5 пункта BLEU-4 — эта метрика оценивает совпадение фрагментов машинного описания с эталонными подписями. Latent-Lens также обошёл LLaMA-Adapter с сопоставимым числом обучаемых параметров на всех трёх задачах.
Скрытый канал сократил задержку в 2,7 раза относительно текстового обмена. Причина следует из конструкции: VLM делает один проход и отдаёт состояния, а не генерирует промежуточное описание токен за токеном. Скорость измеряли на одной GPU при фиксированном объёме итогового ответа, поэтому на целевом устройстве её потребуется проверить отдельно.
Метод проверяли на CLEVR со сценами, счётом и пространственными отношениями, на GQA с вопросами по фотографиям и на Flickr8k с открытыми описаниями. Ответы на вопросы генерировались свободно; совпадение засчитывали после нормализации, если слова более короткого ответа входили в более длинный.
Совместимость дополнительно проверили на сочетаниях SmolVLM-256M и InternVL2-1B с Qwen2.5-0.5B и TinyLlama-1.1B. У этих моделей различаются архитектуры, словари и размер скрытых представлений, но для каждой пары хватило нового проектора и адаптеров LoRA. Основные результаты усредняли по нескольким запускам, а проверки остальных сочетаний проводили однократно.
Когда Latent-Lens меняет архитектурный план
Работа меняет выбор канала связи в системах, где одна модель видит изображение, а другая рассуждает или формирует ответ. Если между ними сейчас передаётся короткое описание, текст стоит считать не нейтральным интерфейсом, а сжатием с потерями. Особенно заметно это будет в задачах со счётом, расположением объектов и мелкими атрибутами.
При этом скрытый канал нельзя заменить на текст без изменения эксплуатационных свойств. Его сообщения трудно читать, записывать в журнал и проверять вручную. Для процессов, где промежуточное объяснение нужно оператору или аудитору, текстовый интерфейс остаётся полезным даже при худшей точности.
Latent-Lens также не является универсальным переходником, который подключают без обучения. При замене VLM или SLM проектор и LoRA обучают заново под размеры представлений выбранной пары. Эксперименты охватывают связь между двумя моделями в одном направлении; они не показывают, как схема поведёт себя в длинном диалоге нескольких агентов.
Практический вывод уже достаточно конкретен: для модульного продукта не обязательно сливать зрение и язык в одну модель или заставлять компоненты общаться только словами. Можно оставить основы замороженными, обучить небольшой кодек и получить более полный зрительный сигнал вместе с меньшей задержкой. Цена этого выбора — отдельный этап обучения и менее прозрачная граница между компонентами.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
