Безопасный ответ может скрывать опасное рассуждение модели

Безопасный финальный ответ ещё не означает, что модель безопасно рассуждала: перед отказом она может подробно двигаться к выполнению вредного запроса. В нерецензированном препринте Wayne State University, где числа получили сами авторы, атака с навязанным началом рассуждения подняла долю расхождений у DS-Qwen3-8B с 2,6% до 33,2%. Проверять только видимый ответ поэтому недостаточно, особенно если продукт показывает ход рассуждений или передаёт его другим агентам.

Для измерения проблемы авторы ввели метрику DSAR. Модель-оценщик ищет в каждом предложении момент, когда модель распознала вредный замысел и решила отказать, остановиться или предложить безопасную альтернативу. Отдельный защитный классификатор проверяет весь ход рассуждений и финальный ответ; DSAR растёт, если их оценки безопасности не совпадают.

Метод SARA меняет обучение с подкреплением: награда зависит не только от результата, но и от того, заметила ли модель вредный запрос в ходе рассуждения и согласуется ли её вывод с ответом. На DS-Qwen3-8B при атаке на StrongReject SARA снизила долю расхождений до 14,7%. RECAP, который награждает безопасность финального ответа, оставил 29,1% расхождений — почти на уровне исходной модели.

Саму проблему проверяли на пяти моделях, включая Gemma4-8B, DS-Qwen3-8B и GPT-oss-20B, на наборах вредных запросов StrongReject и SafeChain. SARA обучали и сравнивали с альтернативами на DS-Qwen3-8B и DS-Qwen2-14B; кроме обычных запросов использовали атаку, которая заранее задаёт модели вредное начало рассуждения. Автоматическую оценку сверили с человеческой разметкой, а сохранение полезности проверяли на задачах с безопасными запросами, математикой и общими знаниями.

Источники

• Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models

Иллюстрация: рисунок из статьи «Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models», Xiangyu Zhou, Saleh Zare Zade, Rafi Ibn Sultan и др., CC BY 4.0