Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Скрытый поведенческий сигнал в данных для дистилляции научились превращать в читаемую системную подсказку. Хотя препринт Stanford не рецензировали и числа получили сами авторы, SALVE восстановил заданное учителю свойство там, где распространённые способы оптимизации текста не смогли его назвать. Такой аудит может до обучения студента показать, что внешне нейтральный набор передаёт модели лишнее поведение.
Речь о сублиминальном обучении: модель-учитель незаметно передаёт студенту свойство через данные, которые по смыслу с ним не связаны. Например, учителю задают любовь к кошкам, просят продолжать последовательности чисел, а затем студент после обучения на этих ответах тоже начинает выбирать кошек.
SALVE сначала обучает на проверяемом наборе мягкую подсказку — последовательность настраиваемых векторов при замороженной модели. Затем та же модель переводит её в обычный текст. Лучевой поиск собирает подсказку по предложениям и сохраняет варианты, которые сильнее снижают ошибку модели на исходных данных: это помогает отсеять общие ответы вроде «Вы полезный ассистент».
Основной опыт провели на наборах из 10 000 числовых последовательностей для четырёх предпочтений животных, сгенерированных Qwen2.5-7B-Instruct. SALVE находил название нужного животного, а методы, где подсказки предлагает LLM, градиент направляет перебор токенов или дискретный текст заменяют непрерывным приближением, не справились. Метод также обнаруживал сигнал в случаях, когда стандартное обучение студента его не переносило; изменение схемы обучения затем делало эффект заметным.
Проверка охватывает специально собранные наборы, их смеси с посторонними данными, управление поведением через активации и подмножества реальных данных предпочтений, выбранные Logit-Linear Selection. При управлении активациями итоговая подсказка назвала животное в 22 из 108 запусков; ещё в 36 правильный кандидат появлялся во время поиска, но проигрывал при отборе. Поэтому SALVE подходит как дополнительная проверка данных, но один восстановленный текст может описать только самый заметный эффект и иногда добавляет выдуманные детали.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
