Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Документ удалось изменить так, что языковая модель следует его содержанию, даже если оно противоречит фактам из её памяти. В препринте, который не проходил рецензирование и для которого числа получили сами авторы, оптимизированная строка обошла контекстно-зависимое декодирование на всех проверенных моделях и в целом сравнялась с управлением активациями. При обработке документов это позволяет перенести часть настройки из модели в сам текст.
Суффикс подбирают по ответу модели
К документу дописывают суффикс длиной 20 токенов. Это не инструкция наподобие «отвечай только по контексту», а последовательность токенов, которую находят автоматическим поиском: алгоритм заменяет отдельные позиции и оставляет варианты, повышающие вероятность нужного ответа.
Во время поиска нужен доступ к весам и градиентам модели. После этого суффикс становится обычной частью документа: при каждом запросе не требуется ни менять активации внутри модели, ни запускать особый алгоритм генерации. Такой документ можно передать модели через стандартный интерфейс вывода.
Авторы сначала подбирали отдельный суффикс для каждой пары документа и вопроса. Затем они оптимизировали одну последовательность сразу на нескольких документах и переносили её на новые тексты для той же модели. Цель поиска также расширяли: включали вопросы, где нужно связать подложный факт с другими знаниями модели, и повторные вопросы в следующих репликах диалога.
Проверяли Llama, Mistral и Gemma размером от семи до девяти миллиардов параметров. В BaseFakepedia документы последовательно утверждали вымышленный факт, а в CUB NQ одно упоминание сущности заменяли внутри настоящего веб-текста. В эксперименте модель получала один документ без поисковой системы, конкурирующих фрагментов и прикладной системной инструкции.
Суффикс выигрывает у инструкции, но действует узко
На отобранных примерах без вмешательства модели всегда отвергали версию документа. С оптимизированным суффиксом доля переключившихся ответов на BaseFakepedia составила не менее 98%, а на более противоречивом CUB NQ — не менее 88%. Суффикс оказался сильнее контекстно-зависимого декодирования во всех сочетаниях моделей и наборов данных и чаще выигрывал у лучшей из вручную написанных инструкций.
Контрольные опыты показывают, что строка не просто вставляет готовый ответ. Когда нужную сущность скрывали в документе, эффект почти исчезал. Когда её заменяли другой сущностью, модель начинала следовать замене.
Однако суффикс влияет прежде всего на те входы, которые участвовали в его целевой функции. Если поиск учитывал только исходный вопрос, модель могла не перенести подложный факт на связанный вопрос или следующую реплику. Например, Llama сохраняла ответ при повторном вопросе лишь в 17% случаев; после включения повторной реплики в поиск показатель восстановления доходил до 96%. Дополнительный поиск только по первой реплике проблему не исправлял.
Ответы оценивали целиком, а не по первому слову: ответ не засчитывали, если модель сначала называла сущность из документа, а затем отвергала её. Часть автоматических меток один из авторов перепроверил вручную.
В продакшене это пока не замена настройке запросов
Работа показывает полезное разделение: модель можно направлять не только инструкцией или вмешательством в генерацию, но и формой самого документа. Если команда использует модель с доступными весами и заранее обрабатывает стабильный набор материалов, суффикс можно подобрать офлайн, а затем применять без специальной инфраструктуры во время ответа.
Для закрытого API преимущество почти исчезает: поиск требует внутренних градиентов целевой модели. Перенос последовательности между разными моделями в работе не проверяли, поэтому суффикс, найденный на доступной модели, пока нельзя считать способом настроить сторонний сервис.
Результаты также не дают готовой оценки для RAG-системы. Эксперимент изолировал один документ, тогда как в продукте на него влияют разбиение на фрагменты, ранжирование, соседние источники и системные правила. Практический вывод здесь не в том, чтобы заменить инструкции бессвязной строкой, а в том, чтобы тестировать следование контексту на связанных и повторных вопросах, а не только на первой реплике.
Есть и обратная сторона: тот же механизм помогает недоверенному документу навязать модели ложный факт без явной команды. Суффиксы в работе выглядят как неестественные последовательности, поэтому авторы называют фильтрацию очевидным направлением защиты, но её эффективность не измеряли. Для систем, которые загружают внешние документы, такая строка становится отдельным классом входных данных, который стоит учитывать при проверках.
Источники
Иллюстрация: рисунок из статьи «Shaping the Document, Not the Model: Optimized Suffixes for Context Following», Gia-Bao Dinh Ho, Sekh Mainul Islam, Masahiro Kaneko и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
