Журнал · Rit.work

Gaze-RL направляет награду к токенам, которые опираются на изображение

Gaze-RL перераспределяет общую награду за ответ между токенами по внутренним состояниям модели и улучшает результаты на задачах с изображениями и видео.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Награду за целый ответ мультимодальной модели научились направлять к тем фрагментам, где она использует изображение для решения. В препринте Lixuan He и коллег, который не прошёл рецензирование и приводит числа самих авторов, метод Gaze-RL набрал на Geometry3K 47,9 балла против 39,6 у GRPO. Для команды это способ точнее распределить обучающий сигнал без отдельной разметки шагов и нового модуля восприятия.

Как Gaze-RL находит важные места в ответе

В обычном обучении с подкреплением проверяющая модель оценивает весь сгенерированный ответ. Алгоритм сравнивает его с другими ответами на тот же запрос и вычисляет преимущество: положительное значение усиливает выбранные токены, отрицательное ослабляет.

GRPO применяет одно и то же преимущество ко всем токенам ответа. Для мультимодальной модели это грубое приближение: часть текста пересказывает условие или связывает рассуждение, а изображение влияет лишь на отдельные выводы, сравнения и пространственные отношения.

Gaze-RL сначала измеряет визуальную привязку каждого места. Метод сравнивает внутреннее состояние перед следующим токеном с представлениями изображения в нескольких слоях модели. Чем ближе эти представления, тем вероятнее, что текущий шаг опирается на визуальные данные.

Одной привязки недостаточно. Токен может быть связан с изображением, но почти однозначно следовать из предыдущего текста. Поэтому Gaze-RL добавляет предсказательную неопределённость: если модель распределяет вероятность между несколькими продолжениями, решение в этом месте сильнее влияет на дальнейший ответ.

Визуальная опора может появиться раньше самого решения. Метод связывает текущую позицию с предыдущими состояниями по их сходству и постепенно ослабляет влияние далёких фрагментов. В результате высокий вес получают не только слова, напрямую связанные с изображением, но и последующие развилки рассуждения, которые используют найденный факт.

Из этих сигналов Gaze-RL строит поле весов со средним значением, равным единице. Общая награда за ответ не меняется: метод только решает, на какие токены сильнее направить обновление. В базовой настройке перераспределение действует с коэффициентом 0,70, а вес любого токена не опускается ниже примерно 0,72 от равномерного варианта.

Где перераспределение награды помогло

Метод проверяли на Qwen2.5-VL-3B, Qwen2.5-VL-7B и InternVL3.5-8B. Все варианты начинали с одинаковых контрольных точек, использовали один набор обучающих данных, одну проверку ответов, одинаковое число ответов в группе и бюджет в 200 обновлений. В сравнение вошли GRPO, DAPO, VPPO и методы для видео; PEPO отдельно проверили на Qwen2.5-VL-7B.

На задачах с изображениями Gaze-RL чаще выигрывал там, где требовалось связать визуальный объект с вычислением или логическим выводом. На LogicVista модель InternVL3.5-8B получила 63,0 против 60,8 у GRPO. На общих тестах распознавания разрыв обычно был меньше, а в отдельных столбцах другие методы оставались лучше.

На видео преимущество проявилось в задачах, где важный момент занимает малую часть записи. Qwen2.5-VL-7B показал на TempCompass 72,0 против 69,4 у GRPO. При этом на NExT-QA обучение с подкреплением ухудшило обе версии Qwen относительно исходных моделей; Gaze-RL сократил падение, но не устранил его.

Разбор вариантов метода подтверждает, что нужны оба сигнала. Одна визуальная близость и одна неопределённость уступили полной схеме, где решение получает вес только при поддержке визуально привязанных состояний. Дополнительная проверка на редактировании изображений дала небольшой перенос эффекта, поэтому работа рассматривает её как вторичный результат.

Когда Gaze-RL стоит включать в план обучения

Метод не требует менять архитектуру модели, проверяющую функцию или способ вычислять награду за ответ. Если система уже обучается через GRPO или похожий алгоритм, Gaze-RL добавляет промежуточный расчёт весов перед обновлением параметров.

Цена такой совместимости — доступ к внутренним состояниям и распределению вероятностей модели во время генерации. Нужно сохранять выбранные слои и вычислять связи между позициями ответа. Полная версия сравнивает позиции попарно, поэтому объём вычислений растёт квадратично с длиной ответа; для длинных рассуждений может потребоваться приближённый или оконный вариант, которого работа не проверяет.

Gaze-RL имеет смысл прежде всего для собственного дообучения открытых мультимодальных моделей. При работе только через API внутренних состояний обычно нет, поэтому применить метод на стороне клиента не получится. Он также не заменяет проверяющую модель: ошибочная итоговая награда останется ошибочной, а отсутствующие в изображении сведения перераспределение не восстановит.

Работа меняет план не на уровне выбора базовой модели, а на уровне контура обучения. Команде, которая уже собиралась размечать промежуточные шаги или подключать отдельный модуль для оценки визуальной опоры, стоит сначала проверить внутренние признаки самой модели. Для продуктов без собственного обучения результат остаётся ориентиром для выбора будущих контрольных точек, а не готовой функцией API.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу