RePR учит токенизатор изображений ради генерации, а не распознавания

Токенизатор для генерации изображений научили сохранять признаки, которые помогают модели восстанавливать данные, а не распознавать классы. В нерецензированном препринте, где все числа получили сами авторы, экстраполяция кривых обучения показывает, что RePR достигает качества DINOv2 при в 7 раз меньшем числе операций. Это даёт командам основание считать обучение собственного латентного пространства отдельным способом масштабировать генератор.

Как RePR выбирает полезные признаки

Латентный токенизатор превращает фрагменты изображения в компактные векторы, на которых затем учится генеративная модель. Часто для этого берут готовый кодировщик вроде DINOv2, хотя его обучали выделять признаки для распознавания, а не упрощать генерацию.

Такой кодировщик может сохранить класс объекта, но отбросить его положение, форму деталей или структуру сцены. Для классификации это допустимо, однако генератору приходится воспроизводить все переменные изображения. Авторы называют этот эффект подавлением признаков: задача обучения насыщается несколькими хорошо различимыми сигналами и перестаёт поощрять остальные.

RePR получает две частично скрытые версии одного изображения. Отдельная предсказывающая модель оценивает, насколько знание первой версии помогает восстановить фрагмент второй. Кодировщик учится располагать векторы так, чтобы их близость отражала этот выигрыш в предсказании.

В основе цели лежит поточечная взаимная информация — мера того, насколько совместное появление двух наблюдений вероятнее их независимого появления. Контрастные методы приближают ту же величину через положительные и отрицательные примеры. RePR оценивает её генеративной моделью, поэтому ему не нужно подбирать отрицательные примеры, на которых контрастная задача часто становится слишком простой.

Обычная взаимная информация приравнивает мелкие текстуры к структуре объекта. RePR меняет вес уровней шума в диффузионной модели, чтобы кодировщик сильнее учитывал признаки, которые сохраняются после искажения изображения. Полную оценку авторы разбивают на добавки от отдельных фрагментов: их проще предсказать, а сумма восстанавливает исходную величину. Для численного приближения хватило 32 шагов, которые заняли 1,3% вычислений при обучении.

Токенизатор окупил затраты на своё обучение

Главная проверка учитывает общий бюджет: сначала вычисления на RePR, затем обучение генератора в полученном пространстве. Это отличает работу от сравнений, где стоимость готового кодировщика не включают в результат.

На ImageNet связка RePR и JiT-L получила FID 2,18 против 2,36 у JiT-L, который обучался напрямую на пикселях при практически равном бюджете. FID сравнивает распределения признаков реальных и сгенерированных изображений; меньшее значение означает более близкие распределения. Результат показывает, что часть вычислений выгоднее потратить на подготовку представления, а не отдавать весь бюджет генератору.

По кривым масштабирования качество представления предсказуемо росло вместе с затратами на кодировщик. Для GPIC, набора пар текста и изображений, экстраполяция дала качество WebSSL при в 8 раз меньшем числе операций. Это именно вывод из продолжения измеренной кривой, а не прямой запуск обеих систем на таком бюджете.

Метод также проверяли на условной и безусловной генерации, с управлением и без него. В отдельных опытах RePR избегал вырождения размерности и подавления признаков там, где DINO и LeJEPA теряли информацию: похожие входы не сводились к одинаковым или бедным представлениям.

Планы стоит менять на уровне эксперимента, а не архитектуры продукта

Работа меняет расчёт бюджета для команд, которые собираются обучать генератор изображений на собственных данных. Кодировщик больше не обязательно считать внешним фиксированным компонентом: его масштаб можно подбирать вместе с размером генератора и числом шагов обучения.

Практический следующий шаг — сравнить прямую генерацию и RePR при одном полном бюджете, включая подготовку токенизатора. Оценивать стоит не только восстановление изображения или признаки для классификации, а то, насколько быстро генеративная модель учится работать в полученном пространстве. Именно эту способность измеряют эксперименты статьи.

RePR усложняет контур обучения: нужны предсказывающая модель, кодировщик и последовательное улучшение целей в латентном пространстве. Поэтому выигрыш по операциям не означает автоматически меньшую стоимость разработки или более простую эксплуатацию.

Проверка охватывает ImageNet и GPIC, изображения разрешением 256 × 256 и генераторы семейства JiT с Latent Forcing. Сравнения показывают поведение метода в генерации изображений при контролируемом бюджете; для решения о внедрении команде всё ещё нужен замер на своём распределении данных и целевой архитектуре.

Источники

• Generative Representation Learning for Scalable Latent Tokenization

Иллюстрация: рисунок из статьи «Generative Representation Learning for Scalable Latent Tokenization», Alan Baade, Kyle Sargent, Vincent Sitzmann и др., CC BY 4.0