Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Замороженного ИИ-агента удалось сделать точнее без изменения самой модели. В препринте Samaya AI, который не проходил рецензирование и приводит замеры самих авторов, небольшой советчик поднял долю квалифицированных ответов на FrontierFinance с 52,9% до 56,6%. Такая схема позволяет улучшать закрытые модели через API, если у команды накоплены запросы с надёжными оценками ответов.
Как прошлые ошибки превращают в совет
Метод назвали HSAD — дистилляцией структурированных советов по прошлым результатам. Перед замороженным исполнителем ставят отдельную модель-советчика: она читает новый запрос и дописывает к основной инструкции подсказку именно для этого случая.
Сначала исполнитель решает задания из обучающего набора без дополнительной помощи. Его ответы сравнивают с эталонами, а ошибки описывают свободным текстом. Затем похожие причины объединяют в закрытый справочник: например, агент выбрал неправильный источник, пропустил нужное раскрытие или соединил таблицы по неверным полям.
Из тех же ошибок составляют несколько стратегий ответа. Исполнителя запускают с каждой стратегией на каждом обучающем запросе и записывают, какая дала лучший результат. Это дорогая часть подготовки: число запусков растёт вместе с числом стратегий.
После прогонов модель-учитель видит запрос, правильный ответ, оценки и трассы работы исполнителя. Она формирует совет в JSON с заранее заданными полями: выбирает стратегию, отмечает вероятные ошибки и указывает конкретные действия. Поля, которые можно однозначно извлечь из запроса или результатов прогонов, заполняют правилами, а не поручают модели.
Советчик на восемь миллиардов параметров учится воспроизводить этот JSON только по исходному запросу. При рабочем запуске правильного ответа и прошлых трасс у него уже нет. Готовый JSON переводят в обычный текст и добавляют к инструкции исполнителя; тот сохраняет свои инструменты и может отступить от совета, если факты требуют другого пути.
Где структурный совет улучшил результат
На FrontierFinance советчик превзошёл собственный режим повышенных усилий агента, который набрал 56,0%. При этом один запрос стоил на 37% дешевле, чем в таком режиме. Экономия возникла не потому, что дополнительный вызов бесплатен, а потому, что адресная подсказка заменила более дорогой способ работы основного агента.
На WebShop совет перед запросом получил замороженный Qwen3-4B. Итоговый балл вырос с 54,6 до 63,4. Здесь особенно помогали точные значения из задания: советчик повторял требуемый размер или вариант товара как конкретную цель для нажатия.
Схему также проверили на BIRD, где модель пишет SQL по текстовому запросу, и на ExpertLongBench с длинными экспертными ответами. Качество выросло в обоих случаях, но полезные поля совета различались: финансовому агенту помогали указания по источникам и раскрытиям, а магазину — значения элементов управления.
Это отличает HSAD от единой длинной инструкции. Общий справочник ошибок остаётся одним для всей задачи, но советчик выбирает только относящиеся к текущему запросу правила. Исполнитель не тратит контекст на рекомендации для чужих случаев.
Когда советчик меняет архитектурный план
Подход подходит командам, которые используют закрытую модель через API, разделяют одного агента между продуктами или не хотят заново проверять систему после изменения параметров. Советчик становится текстовым адаптером перед исполнителем: его можно обучать и обновлять отдельно, не затрагивая основной агент.
Для этого нужен обучающий набор, где исполнитель иногда справляется, а иногда ошибается, и каждый ответ можно надёжно оценить. Нужны также подробные трассы, по которым видно, какую ошибку исправит инструкция. Если оценка неточна, советчик выучит случайные предпочтения модели-учителя вместо полезных правил.
Совет должен содержать только то, что можно предсказать по новому запросу. В WebShop требуемые параметры товара уже написаны в задании, поэтому их легко перенести в подсказку. В BIRD выбор таблиц и столбцов иногда требует того же сложного рассуждения, на котором ошибается исполнитель; отдельная небольшая модель здесь не устраняет исходную проблему.
Границы проверки пока узкие: основным исполнителем был собственный финансовый агент Samaya на наборе из 220 запросов, а остальные домены проходили с одной небольшой открытой моделью. Каждое условие запускали один раз, причём самый маленький тест включал 100 документов. Работа показывает перенос между несколькими типами задач, но не подтверждает, что совет сохранит пользу при смене исполнителя внутри одного домена.
HSAD не заменяет обучение основной модели во всех случаях. Он меняет план, когда проблема состоит в повторяющихся деталях процесса: где искать факт, какой формат соблюдать, какую типичную ошибку проверить. Если агенту не хватает базовой способности решить задачу, текстовый совет лишь добавит ещё один вызов модели и удлинит инструкцию.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
