Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научили подстраивать выбор и свободные ответы под ценности человека, не добавляя его анкету в каждый промпт. В препринте University of Michigan и Kitware, который не прошёл рецензирование и все числа в котором получили сами авторы, VISTA использовала 6% анкеты WVS и сохранила 94% выигрыша от полной истории. Для продуктовой архитектуры это альтернатива длинным пользовательским профилям, если команда может вмешиваться во внутренние состояния модели.
Как ответы анкеты превращаются в управление моделью
VISTA сначала строит скрытый профиль ценностей. Кодировщик получает выбранные пользователем формулировки, объединяет их и описывает человека распределением в пространстве из 32 измерений. Распределение нужно не только для прогноза: оно показывает, насколько система уверена в профиле при неполной анкете.
Затем небольшая гиперсеть превращает профиль в индивидуальное вмешательство для Llama-3-8B-Instruct с неизменными весами. Для выбора готового ответа она создаёт вектор и добавляет его во внутреннее состояние модели на слое 10 при обработке каждого токена. Для свободного текста гиперсеть создаёт 16 обучаемых скрытых токенов, которые модель получает перед запросом.
Весы самой Llama под каждого человека не обновляются. Один кодировщик учится находить общую структуру ценностей среди пользователей, а гиперсеть — переводить положение конкретного человека в воздействие на модель. При новом запросе система повторно использует уже вычисленный профиль вместо того, чтобы снова передавать всю историю ответов текстом.
Вопросы для анкеты VISTA тоже выбирает из этого профиля. После каждого ответа система оценивает, какой ещё вопрос даст больше всего сведений для прогноза будущих предпочтений. Опрос заканчивается, когда оставшиеся вопросы почти перестают менять предсказания, поэтому длина анкеты зависит от ответов конкретного человека.
Метод проверяли на синтетических предпочтениях Food2D, социальных ценностях World Values Survey и мнениях PrimeX. В тестах участвовали 300 смоделированных пользователей Food2D, 848 респондентов WVS из США и Великобритании и 858 участников PrimeX. Сравнивали скрытый профиль с анкетой внутри промпта, профилем другого человека, усреднённым пользователем и альтернативными способами представить предпочтения.
Короткая анкета сохранила почти весь эффект персонализации
При одинаковых исходных ответах VISTA не уступила профилю в промпте или обошла его на всех трёх наборах данных. Разница особенно проявилась там, где мнения пользователей расходились: усреднённый ответ модели на таких вопросах хуже отражает конкретного человека.
На WVS система остановила опрос после небольшой части анкеты, сохранив почти весь выигрыш полной истории. Обычное адаптивное тестирование в тех же условиях удержало не более 42% выигрыша. Причина различия в цели: стандартный подход уточняет общий профиль, а VISTA выбирает вопросы по тому, помогут ли они предсказать ещё не заданные ответы.
На PrimeX скрытый профиль перенесли из WVS на другую аудиторию и другой набор вопросов. Кодировщик не переобучали, но гиперсеть для управления Llama обучили на PrimeX. В свободной генерации только вариант со скрытым профилем дал статистически значимый чистый выигрыш: он чаще воспроизводил позицию пользователя, в том числе мнение меньшинства, и реже портил ответы для большинства.
Это не универсальная проверка персонализации. Эксперименты охватывают одну базовую LLM, анкетные вопросы и короткие объяснения позиций; Food2D моделирует предпочтения искусственно, а реальные данные взяты из WVS и PrimeX. Работа показывает перенос представления ценностей между двумя анкетами, но не между разными семействами языковых моделей или произвольными продуктовыми сценариями.
Когда VISTA меняет планы продуктовой команды
Подход подходит продуктам, где пользователь возвращается много раз, а его устойчивые предпочтения влияют на ответы: советникам, рекомендательным системам и помощникам, которые формулируют позицию от имени человека. В таком сценарии короткий вводный опрос можно оплатить один раз, сохранить скрытый профиль и не раздувать каждый следующий промпт историей.
Главное архитектурное условие — доступ к внутренним состояниям модели. Обычный текстовый API закрытой LLM не позволяет добавить вектор на выбранном слое или вставить обучаемый скрытый префикс. Команде понадобится развёртывание модели под своим контролем либо API, который прямо поддерживает такие вмешательства.
VISTA не заменяет сбор обратной связи внутри конкретной задачи, если предпочтения быстро меняются или зависят от контекста запроса. Метод опирается на другую гипотезу: базовые ценности сохраняются между ситуациями, поэтому один профиль можно использовать повторно. До внедрения эту гипотезу придётся проверить на собственных пользователях и целевых действиях, а не только на совпадении с ответами анкеты.
Практический вывод уже применим к проектированию эксперимента. Вместо ещё одного варианта длинного системного промпта можно сравнить три ветки: профиль текстом, усреднённое поведение без персонализации и вмешательство из скрытого профиля. Оценивать стоит не только общую точность, но и отдельно случаи, где пользователь расходится с большинством: именно там персонализация либо приносит пользу, либо незаметно возвращает продукт к среднему ответу.
Источники
Иллюстрация: рисунок из статьи «VISTA: Steering LLMs with Latent User Values Inferred from a Few Survey Answers», Yinuo Xu, Jadie Adams, Brian Hu и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
