Модель отказывает в тексте, но указывает опасную цель на изображении

Одна и та же визуально-языковая модель может отказаться описывать опасное действие, а затем указать подходящий объект или область на изображении. Работа UC Riverside показала разрыв в 31–59 процентных пунктов между текстовыми отказами и отказами выдавать координаты, хотя препринт не рецензирован и числа получены самими авторами. Значит, текстовую безопасность нельзя автоматически переносить на агентов и роботов, которые действуют по точкам и рамкам.

Координаты обходят защиту, рассчитанную на текст

Авторы изучали визуальную привязку (visual grounding): модель не описывает объект словами, а возвращает его точку или ограничивающую рамку. Такой результат может сразу получить интерфейсный агент, который нажмёт на элемент, или робот, который направится к выбранному предмету.

Из наборов VLSU, BBQ-V и Asimov-2.0 собрали 15 401 пару запросов. Внутри пары сохранялись изображение и вредный замысел, но менялась форма ответа: свободный текст либо координаты. Поэтому разницу нельзя объяснить тем, что модели показали другие изображения или иначе сформулировали задачу.

Проверка охватила пять визуально-языковых моделей (VLM): Claude Sonnet 4.6, Gemini 3.5 Flash, Molmo2-8B, Qwen3-VL-8B и VisionReasoner-7B. Во всех моделях и предметных областях координатный канал отказывал реже текстового. Например, модель могла отказать на вопрос о месте для употребления наркотиков, но по просьбе указать это место возвращала рамку комнаты.

Обычная системная инструкция соблюдать безопасность разрыв не закрыла. Даже разрешение выдавать безопасные координаты-заглушки помогало непоследовательно, а иногда заставляло модель чаще отклонять безвредные запросы. Это указывает не только на неудобный формат ответа: запрет, выученный для текста, сам по себе не становится правилом для пространственного действия.

Как модель учили отказывать и не терять привязку

Для дообучения авторы взяли Qwen3-VL-8B и VisionReasoner-7B. Смесь данных решала три задачи: учила отказывать на вредные запросы в координатной форме, сохраняла обычную способность находить объекты и показывала безопасные примеры, на которые нужно отвечать.

Безвредные ответы получали через самообучение: базовая модель решала безопасную задачу, после чего в набор оставляли только правильные ответы без отказа. Отдельные примеры поддерживали точность координат. Зрительный кодировщик и проектор заморозили, а меняли только языковую часть модели.

Проверили два вида отказа. Первый выходил из структурированного формата и отвечал обычным текстом. Второй сохранял ожидаемую структуру, но возвращал объяснение отказа и нерабочую рамку [0,0,1,1]. Второй вариант удобнее для системы, где последующий обработчик ожидает корректный JSON или набор координат даже при отказе.

После дообучения доля отказов в координатном канале выросла на 64–95 процентных пунктов в зависимости от модели и области. На безвредных примерах из тех же областей лишние отказы оставались не выше 5,3%, а результат на PointArena почти не изменился. Перенос проверили и на Asimov-2.0, который не входил в обучение: улучшение сохранилось, хотя модель хуже распознавала вред для робота и имущества, чем угрозу человеку.

Разбор состава данных показал важную асимметрию. Обучение только текстовым отказам не сделало координатный выход безопаснее базовой модели. Обучение отказам через координатный интерфейс улучшало оба канала, но без безопасных примеров повышало число лишних отказов, а без обычных задач привязки модель могла просто разучиться находить объекты.

Что меняется в планах продуктов с агентами и роботами

Для команды, которая использует VLM только как средство описания изображений, работа уточняет программу испытаний, но не требует немедленно менять архитектуру. Для систем, где координаты запускают нажатие, перемещение или захват объекта, вывод жёстче: текстовый отказ не доказывает, что исполнительный канал защищён.

Проверять нужно каждый доступный модели способ действия в его родном формате. Если агент получает рамки, тест должен запрашивать рамки; если робот получает точки, недостаточно оценивать словесные ответы. Отдельно стоит измерять лишние отказы и способность находить обычные объекты, иначе высокий показатель безопасности может скрывать сломавшуюся функцию привязки.

Системная инструкция остаётся дополнительным барьером, но результаты не поддерживают её как единственную защиту. Более надёжный план — включить отказ прямо в обучение координатного канала и заранее определить безопасный структурированный ответ, который обработчики смогут принять без выполнения действия.

Границы вывода задаёт сама проверка: исходную уязвимость искали на пяти моделях и трёх видах вреда, а дообучение провели только для двух открытых моделей. Отказы оценивала Gemini 3.5 Flash как модель-оценщик, поэтому перед внедрением рецепт всё равно нужно проверить на собственных изображениях, форматах координат и исполнительных действиях.

Источники

• Visual Grounding Safety in Vision-Language Models

Иллюстрация: рисунок из статьи «Visual Grounding Safety in Vision-Language Models», Erfan Shayegani, Kundan Krishna, Yue Dong и др., CC BY 4.0