Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Сбой LLM-агента удалось связать с конкретным участком его внутренних вычислений и подавить, не меняя исходный запрос. В препринте Università di Pisa, который не прошёл рецензирование и где все числа получены самими авторами, точечное изменение активаций исправило 72–100% лишних уточнений на отложенных примерах. Журнал коррекций можно использовать не только для дообучения, но и для поиска механизма ошибки — универсального способа затем переписать веса работа пока не даёт.
Как вмешательство указывает на место сбоя
Авторы изучали агента, который должен выбрать предмет в небольшом рабочем пространстве. Если запрос однозначен, агент выполняет действие; если подходят несколько предметов, задаёт уточняющий вопрос. Сбой состоял в том, что модель просила уточнение, хотя правильный предмет уже определялся однозначно.
Роль оператора выполняло детерминированное правило: оно знало правильный ответ, отмечало лишний вопрос и записывало требуемое действие. Люди вслепую проверили такие вердикты. Это не журнал естественной эксплуатации, а воспроизводимый заменитель человеческого контроля.
Для каждого сбоя сохраняли точный контекст, ответ модели и коррекцию. Затем линейный классификатор искал в остаточном потоке — основном канале, по которому слои передают внутреннее состояние, — направление, разделяющее решения «спросить» и «действовать».
Само разделение ещё не доказывает причинную связь. Поэтому значение вдоль найденного направления меняли в момент выбора ответа и проверяли, перейдёт ли модель от лишнего вопроса к правильному действию. Контрольные случайные направления почти не влияли на поведение.
Из тринадцати семейств условиям эксперимента соответствовали пять: Qwen2.5-3B, gemma-2-2b, OLMo-3-7B, Mistral-Nemo-12B и Phi-4. Остальные всегда спрашивали, никогда не спрашивали или не соблюдали формат, поэтому для них нельзя было построить сравнение. Причинный участок находился на глубине 55–81% сети в зависимости от модели.
Модель может понимать запрос и всё равно спрашивать
У большинства проверенных моделей представление об однозначности запроса было правильным даже перед лишним вопросом. Оно отделялось от направления, которое управляло итоговым действием, а вмешательство в это представление не меняло ответ. Модель распознавала, что уточнение не нужно, но её политика всё равно выбирала осторожный вариант.
Phi-4 показала другой механизм: её редкие лишние вопросы сопровождались иным внутренним представлением ситуации. Для такого случая логично исправлять распознавание неоднозначности. Для остальных моделей этот компонент уже работал, поэтому его дополнительное обучение нацелилось бы не на причину сбоя.
На этапе выполнения авторы включали изменение активаций только при сочетании двух сигналов: запрос распознан как однозначный, но модель собирается задать вопрос. Во всех трёх запусках нижняя граница оценки снижения нагрузки на контролёра составляла не менее 59%. Законные уточнения при неоднозначных запросах в основном сохранялись, тогда как простая инструкция в системном запросе ухудшала результат.
Перенос исправления в веса дал неодинаковые результаты. У Qwen LoRA, ограниченная найденным участком сети, исправила поведение и сохранила прежние навыки, а поведенческое клонирование на тех же коррекциях нарушило сохранность поведения. Для gemma, OLMo и Mistral-Nemo лучше оказался обратный подход, а результат Phi-4 зависел от запуска. Заранее выбранное геометрическое правило не смогло предсказать, какой способ победит на новых семействах.
Как работа меняет план разработки агента
Практическое изменение касается прежде всего телеметрии. Вместо записи только финальной ошибки стоит сохранять точный контекст, момент вмешательства, ответ агента и исправленное действие. Такие данные позволяют сравнить внутренние состояния успешных и ошибочных эпизодов, если команда контролирует модель и может читать её активации.
Начинать с редактирования весов работа не советует. Другой изученный сбой выглядел как дефект модели: агент повторно спрашивал то, на что пользователь уже ответил, в 45–67% эпизодов. Ошибка исчезла полностью, когда каркас агента начал передавать модели её собственный предыдущий вопрос. Дообучение в таком случае исправляло бы недостаток контекста и могло бы повредить законные повторные уточнения.
Рациональный порядок действий выглядит так: сначала проверить контекст, память и доступные агенту сообщения; затем испытать инструкцию; после этого — условное управление активациями во время выполнения; и только потом переносить исправление в веса. На каждом этапе нужно отдельно измерять целевой сбой и сохранность поведения на случаях, где уточнение действительно требуется.
Вывод относится к узкому масштабу: коротким заданиям, рабочим пространствам из нескольких предметов, одному типу ошибки и жадному выбору следующего токена. Работа показывает, что вмешательство может стать причинной меткой внутреннего решения, но выбор между условным управлением, LoRA и обычным дообучением пока приходится проверять для каждой модели отдельно.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
