Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Управление поведением LLM через внутренние активации удалось сделать устойчивее без дообучения модели. В препринте USC и Intel AI, который не прошёл рецензирование и где числа получили сами авторы, исправленный вектор обошёл стандартный CAA во всех 25 условиях открытой генерации. Команды, которые уже используют такие вмешательства, могут добавить очистку существующих векторов, не меняя основную модель.
Почему управляющий вектор срабатывает в обратную сторону
Управление активациями меняет скрытое состояние модели во время генерации. К нему прибавляют вектор, который должен усилить нужное поведение: например, склонить модель к отказу на опасный запрос или к спокойному ответу на провокацию.
Метод CAA строит этот вектор как среднюю разницу между активациями на положительных и отрицательных примерах. Такой расчёт находит направление нужного свойства, но не учитывает, как последующие слои модели реагируют на разные компоненты вектора.
Авторы описывают эту реакцию через управляющий гессиан — матрицу вторых производных ошибки поведения по компонентам вектора. Она показывает, в каких направлениях небольшое изменение скрытого состояния почти не влияет на результат, а в каких резко меняет вероятности следующих токенов.
Направления с высокой кривизной авторы называют острыми. Последующие слои усиливают их влияние, причём результат зависит от конкретного входа: один и тот же компонент может поддержать целевое поведение на одном запросе и развернуть его на другом. Плоские направления, напротив, дают более слабый, но устойчивый эффект.
Для очистки CAA-вектора вычисляют собственные векторы с наибольшей кривизной и вычитают проекцию на образованное ими пространство. Модель не переобучают, а направление и длина исходного вектора почти не меняются.
Метод проверяли на Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct и Mistral-7B-Instruct-v0.3. Тесты охватили тональность, склонность соглашаться с ошибочным утверждением, токсичность и отказ от опасных запросов; для каждой связки модели и задачи брали несколько слоёв. Гессиан оценивали по вероятности целевого токена в начале ответа, а итоговый эффект отдельно проверяли на полных текстах с жадным декодированием.
Небольшой компонент определяет поведение всего вектора
На острые направления приходилось лишь 1–5% квадрата длины CAA-вектора. Однако именно эта небольшая часть создавала значительную долю различий между распределениями следующих токенов у обычной и управляемой модели.
Если оставить только острый компонент, он разворачивал целевое поведение во всех проверенных сочетаниях моделей, задач и слоёв. Удаление того же компонента, наоборот, улучшило результат во всех условиях открытой генерации. Это указывает не на слабый поведенческий сигнал, а на шум, который модель непропорционально усиливает.
Самая наглядная проверка касается отказов Qwen от опасных запросов. Базовая модель отказывала в 78% случаев, стандартный CAA снизил долю отказов до 36%, а очищенный вектор поднял её до 98%. Простая смена знака не решала проблему так же последовательно: острый компонент продолжал нарушать генерацию независимо от направления вмешательства.
Отдельный опыт с обходом защитных ограничений подтверждает эту трактовку. Острый компонент давал бессвязные ответы или зацикливал отказ, тогда как очищенный вектор сохранял управляемость и при противоположном знаке. Поэтому очистка сама по себе не служит защитным механизмом: она усиливает контроль в выбранном направлении, включая нежелательное.
Когда работу стоит включить в технический план
Если команда уже строит продукт на CAA или другом управляющем векторе, работа предлагает два практических изменения. Первое — измерять долю вектора в острых направлениях как диагностический показатель. Второе — удалять этот компонент перед развёртыванием, а не подбирать коэффициент вмешательства только по нескольким удачным запросам.
Расчёт требует доступа к скрытым состояниям и градиентам модели, поэтому метод подходит для моделей, которые запускают на собственной инфраструктуре. В описанных опытах полный расчёт для одного слоя занимал менее двух минут на одной NVIDIA A6000. После очистки дополнительные вычисления при генерации не нужны: в модель подставляют уже готовый вектор.
Метод также меняет выбор слоя. Один CAA-вектор может иметь неправильный знак на большей части слоёв, а проекция на плоское пространство помогает найти слой, где поведенческий сигнал остаётся последовательным. Для рабочего контура это означает, что слой и коэффициент нельзя считать независимыми настройками: сначала нужно проверить геометрию вмешательства.
Вывод относится к трём семействам моделей и четырём поведенческим задачам. Кривизну оценивали по первому генерируемому токену, а качество полных ответов — на ограниченном наборе условий. Работа поэтому даёт конкретный способ улучшить управление активациями, но не доказывает, что оно заменяет дообучение или одинаково работает на моделях другого масштаба.
Для новых систем результат меняет порядок прототипирования. Управляющий вектор стоит сначала проверить на острые компоненты и инверсию поведения, затем очистить и только после этого сравнивать с дообучением по качеству, стоимости и требованиям к безопасности.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
