Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модели можно обучать избегать нежелательного поведения и не опираться на запрещённый признак, проверяя это по их внутренним сигналам. Команда Thomas Fel показала, что после обучения признак обычно снова находит заново обученный линейный датчик; препринт не прошёл рецензирование, а все числа получили сами авторы. Для продукта это превращает интерпретируемость из разовой диагностики в часть обучения, но требует независимого контроля после каждой настройки.
Запрет на ответ и запрет на способ решения — разные задачи
Mechanistic Shaping добавляет к обычной цели обучения штраф за нарушение заданного правила. Датчик читает активации на выбранном слое и оценивает, присутствует ли там нежелательный смысловой признак или влияет ли он на решение.
Первый тип правила ограничивает выражение признака. Например, модель не должна выдавать вредный текст. Штраф можно вычислить по ответу, промежуточным активациям или оценке отдельной модели.
Второй тип ограничивает зависимость решения от признака. Система отбора резюме может распознавать пол кандидата, но не должна менять итоговую оценку из-за него. Для обучения активацию изменяют вдоль направления, связанного с полом, и штрафуют модель, если её итоговый балл меняется.
Это различие влияет на архитектуру контроля. Чтобы отказать на опасный запрос, модель должна распознать опасность, но не обязана воспроизводить опасное содержание. Поэтому полное удаление признака из представлений может мешать задаче, тогда как устранение его влияния сохраняет полезную информацию.
Направление признака получают с помощью линейного датчика, разности средних активаций или другого метода выделения внутренних признаков. Для управления зависимостью разность средних оказалась полезнее проверенных классифицирующих датчиков на Waterbirds: хороший детектор не обязательно показывает направление, вдоль которого признак действительно меняется.
Исчезновение сигнала может оказаться сменой кодировки
Если обучать модель против конкретного датчика, снижение его оценки ещё не доказывает, что нежелательный признак исчез. Модель может сдвинуть представление в сторону, которую прежний датчик не видит, удалить информацию с проверяемого слоя или сохранить её в нелинейной комбинации активаций.
Работа разделяет проверки по тому, что разрешено менять. Сначала используют исходный линейный датчик на том же слое. Затем заново обучают линейный и нелинейный датчики, ищут сигнал на другом слое и, наконец, проверяют вход или ответ отдельной моделью. Такая последовательность отличает поломку одного измерителя от реального исчезновения информации.
Градиент через оценку датчика создаёт дополнительный риск: модель может научиться уменьшать сам измеряемый сигнал для неизменного поведения. Если остановить градиент на оценке, исходный датчик остаётся надёжнее, хотя активации всё равно меняются между шагами обучения.
Проверка охватила зрение, медицинские изображения и язык, а также классификацию, обучение на размеченных ответах SFT, предпочтениях DPO и с подкреплением GRPO. Самые крупные языковые модели имели 32 млрд параметров.
Результат зависит от архитектуры и способа вмешательства. На Waterbirds у DINOv2 качество линейного и нелинейного датчиков среды обитания по AUROC снизилось с 0,98 до 0,84. AUROC показывает, насколько стабильно датчик ставит примеру с признаком более высокий балл, чем примеру без него. Нелинейный датчик превосходил линейный не более чем на 0,02, поэтому оставшаяся информация не пряталась преимущественно в сложной нелинейной форме.
Для внедрения нужен набор проверок, а не один внутренний датчик
Работа меняет планы команд, которые уже дообучают модели под правила продукта. Внутренний сигнал можно включить в функцию потерь и ограничивать не только видимый ответ, но и способ, которым модель приходит к решению. Это полезно там, где внешняя проверка не видит причин решения: при ранжировании, фильтрации или выборе действия агентом.
Но один датчик нельзя превращать в критерий приёмки. После обучения нужно заново проверить поведение на отдельных примерах, переобучить датчик на новых активациях и сравнить линейную проверку с нелинейной. Если сигнал пропал только для исходного направления, модель обошла измеритель, а не обязательно выполнила правило.
Слой проверки тоже становится частью конфигурации продукта. Штраф может перестроить блоки перед выбранным слоем и перенести информацию выше или ниже. Поэтому контроль на нескольких слоях полезнее попытки найти один постоянный «нейрон безопасности».
Mechanistic Shaping пока стоит рассматривать как технику дообучения и диагностики, а не как самостоятельную гарантию. Практический результат работы — схема эксперимента: отдельно измерять поведение, влияние запрещённого признака и его доступность для датчиков разной сложности.
Источники
Иллюстрация: рисунок из статьи «Shaping & Monitoring Models through their Internal Representations», Thomas Fel, Matthew Kowal, Matt Feiszli и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
