Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Оценку успешности jailbreak-атак сделали менее зависимой от выбранной модели-судьи. В препринте Amherst College и Columbia University, который не прошёл рецензирование и содержит замеры самих авторов, разброс результата для I-GCG сократился с 82 до 12 процентных пунктов. Это позволяет устойчивее сравнивать атаки, если оценщик входит в испытательный контур продукта.
Метрика ASR показывает долю попыток, в которых модель выполнила запрещённый запрос. Обычный LLM-судья может принять за успех ответ на похожую тему или отказ без стандартной вводной фразы: предупреждение об опасности стирального порошка, например, классификатор по префиксу засчитал как выполнение просьбы рекламировать его детям.
Предложенная игра семантической реконструкции не задаёт судье общий вопрос о выполнении запроса. Сначала LLM восстанавливает по ответу запрос, на который тот действительно отвечает, и отбрасывает пересказанное или явно отклонённое содержание. Затем другая LLM создаёт близкие по смыслу ложные варианты, а оценщик сравнивает их с реконструкцией, может воздержаться и выносит итог по большинству сравнений. Дополнительное обучение модели не требуется.
На StrongREJECT и HarmBench метод дал наименьшую среднюю ошибку относительно человеческой разметки при каждом из судей Qwen, Ministral и Gemma. Он почти не засчитывает отказы как успешные атаки, но может пропустить реальный jailbreak, если ответ слишком короток для восстановления запроса. Поэтому полученная ASR скорее занижает успех атаки, чем завышает его.
Проверка охватывала финальные ответы в диалоге из одного хода, судей и целевые модели размером 8–12 млрд параметров. Авторы использовали ответы из SorryBENCH, StrongREJECT и HarmBench, а также атаки PAIR, PAP, I-GCG, SlotGCG и HERETIC против Qwen2-7B-Instruct. Метод подходит для сравнительных испытаний, но сам по себе не подтверждает безопасность модели: для более крупных систем, многоходовых атак и состязательной оптимизации оценщика нужны отдельные проверки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
