Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Внутри LLM удалось выделить признак, который влияет на распознавание бизнес-возможностей, и управлять им напрямую. Результат повторился ещё на четырёх моделях, хотя препринт не прошёл рецензирование, а все числа получили сами авторы. Это показывает альтернативу настройке через промпты: бизнес-логику можно искать и менять во внутренних состояниях модели.
Christian Fisch и коллеги составили 636 пар сценариев с наличием и отсутствием бизнес-возможности. На этих парах они нашли в Llama 3.1 8B-Instruct направление во внутренних числовых состояниях модели, связанное с распознаванием возможности. Когда направление усиливали или ослабляли, модель соответствующим образом меняла свои оценки.
Такое вмешательство проверяет причинную связь, а не просто совпадение между ответом и предполагаемым внутренним признаком. Выделенное направление отличалось от направлений, связанных с оценкой возможности и её использованием. При этом управление им сдвигало и эти соседние суждения, поэтому изолировать одну часть бизнес-логики без побочных изменений пока не получилось.
Эффект сохранился на тестовых сценариях, которые не использовали для поиска направления. Авторы также проверили, не объясняется ли результат отдельными словами или темами, отключали найденный признак и сравнивали его геометрию с соседними признаками.
Проверка охватила Llama 3.1 8B-Instruct и четыре дополнительные LLM разных семейств и масштабов. Поскольку полный текст недоступен и материал основан на абстракте, точную процедуру извлечения направления восстановить нельзя. Для продуктовых команд это пока демонстрация подхода, а не готовый механизм управления: вмешательство переносится между моделями, но затрагивает связанные этапы рассуждения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
