ABS-Align распределяет безопасное поведение LLM между нейронами

Безопасное поведение LLM удалось распределить по модели так, чтобы его нельзя было отключить удалением нескольких ключевых компонентов. В нерецензированном препринте University of Duisburg-Essen, где все числа получили сами авторы, доля успешных атак снизилась до 90% относительно исходной модели. Для разработчиков открытых моделей это добавляет отдельный этап дообучения, который укрепляет саму модель, а не только фильтрует её запросы и ответы.

Метод ABS-Align сначала находит нейроны, от которых сильнее всего зависит отказ отвечать на опасные запросы. Затем во время дообучения их постепенно отключают, начиная с самых значимых, а модель учат предпочитать безопасный ответ вредному. К концу процесса исходные ключевые нейроны временно отключены, поэтому модель вынуждена задействовать другие части сети.

После такого дообучения атаки TwinBreak и NeuroStrike хуже снимали настройку безопасного поведения удалением нейронов. Даже удаление втрое большего числа нейронов не возвращало им прежнюю эффективность. Слабее работало и удаление единственного направления в промежуточных представлениях, связанного с отказами.

Метод проверили на Gemma-2-2B-IT, Llama-3-8B-Instruct, Llama-3.2-3B и Qwen-3-4B от трёх поставщиков. В проверку вошли атаки с полным доступом к весам, десять преобразований запросов из SORRY-Bench и сравнение с исходными моделями и защитами W-DOOR и Alignment-Weighted DPO. Общие способности и следование инструкциям в основном сохранились, а правдивость ответов выросла.

Работа охватывает декодерные LLM с открытыми весами и противника, который может менять веса или внутренние представления. Дообучение модели злоумышленником осталось за границами проверки. Поэтому ABS-Align закрывает конкретную структурную слабость, но не описывает полную защиту модели после передачи весов третьей стороне.

Источники

• Addition by Subtraction: Toward Mitigating Fragile Safety Alignment in Large Language Models