Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Сильная LLM лучше обучает фиксированного агента внешними инструкциями, если сначала выясняет, как именно тот ошибается в своей исполняющей обвязке (harness). Chang Liu и Bo Wu из Colorado School of Mines описали эксперимент в препринте, который не прошёл рецензирование и приводит числа, полученные самими авторами: доля успешно выполненных задач выросла до 86,46%. Для команд это способ улучшить агента без переобучения модели, но библиотеку инструкций придётся проверять именно с той моделью и обвязкой, которые пойдут в продукт.
Профиль студента превращает ошибки в проверяемые гипотезы
Исполняющая обвязка даёт модели инструменты, ведёт контекст и ограничивает число действий. Модель может понимать задачу, но не завершить её: например, опросить товары по одному и исчерпать лимит действий до пополнения запасов. Поэтому одинаковая инструкция помогает одному агенту и мешает другому.
Метод Student-Aware Teaching, или SAT, разделяет обучение на профиль, диагностику и запись навыка. Эмпирическая часть профиля фиксирует, на каких категориях задач студент ошибается и как выглядят его траектории. Аналитическая часть хранит гипотезы о причинах: модель теряет состояние процесса, пропускает вложенные каталоги или расходует действия на лишние проверки.
Учитель не сразу превращает гипотезу в совет. Сначала он запускает диагностические задачи, где меняется одно свойство: размер склада, число файлов или длина цепочки зависимых действий. Если агент справляется с короткой задачей, но ломается при росте объёма, учитель получает основание искать более экономную процедуру, а не заново объяснять предметную область.
Навык здесь — короткая инструкция на естественном языке, которую обвязка добавляет к заданию. Каждый кандидат проходит парную проверку на подходящих задачах: студент решает их с навыком и без него. В библиотеку попадает только инструкция, которая повысила долю принятых результатов; веса модели и код обвязки не меняются.
Подстройка дала наибольший эффект при ограниченном исполнении
В четырёх основных прогонах Claude-Sonnet-5 обучал DeepSeek-V4-Flash. SAT достиг 86,46% принятых результатов против 81,04% у учителя без профиля студента и 75% у агента без новых навыков. Метрика показывает долю запусков, где программная проверка приняла итог задачи.
Разница сильнее проявилась в терминальных операциях и работе с Inventory API. Там агенту нужно покрыть всё окружение или уложить серию обновлений в лимит действий. На арифметических задачах, где чаще достаточно выбрать формулу, учитель без профиля выступил немного лучше.
Контрольные опыты связывают результат именно с подстройкой. При намеренно неверном профиле ни один предложенный навык не прошёл отбор. Когда DeepSeek-V4-Flash и Gemini-3.8-Flash обменялись библиотеками, каждая модель лучше работала со своей, хотя задачи и формат навыков оставались общими.
После отключения учителя сохранённые библиотеки удерживали прибавку до 11,1 процентного пункта. Значит, SAT переносит процедуру в контекст агента, а не требует обращаться к более сильной модели при каждом запуске.
В план агента стоит добавить диагностику и отбор навыков
Работа не предлагает заменить дообучение во всех случаях. Она показывает отдельный путь для систем, где веса недоступны или менять их неудобно: хранить проверенные процедуры рядом с обвязкой и подгружать их во время выполнения задачи. Такие инструкции можно читать, редактировать и удалять без нового цикла обучения модели.
Для архитектуры продукта важны три компонента. Система должна собирать траектории агента, превращать повторяющиеся сбои в проверяемые гипотезы и допускать навык только после сравнения с запуском без него. Простого накопления советов недостаточно: лишняя инструкция расходует контекст и может заставить модель делать ненужные шаги.
Способ доставки тоже нужно выбирать под студента. В экспериментах использовали маршрутизацию по категории, выбор навыков самой моделью и загрузку всей библиотеки. Разные модели выигрывали от разных вариантов, а загрузка всех инструкций иногда ухудшала результат. Маршрутизатор навыков поэтому следует проверять вместе с моделью, инструментами и лимитом действий.
Основные замеры сделаны на одной паре Claude-Sonnet-5 и DeepSeek-V4-Flash в компактной обвязке. Каждый прогон включал 60 отложенных задач из терминальных операций, Inventory API, арифметики, Python и зависимых процессов; каждую задачу запускали дважды. Дополнительные опыты охватили другие модели и готовые агентские обвязки, но центральный вывод пока опирается прежде всего на эту конфигурацию.
Менять выбранную модель только из-за этой работы рано. Зато при проектировании агента есть смысл отделить библиотеку процедур от основного системного запроса и заложить контур её проверки. Наибольшая ожидаемая польза — у моделей, которые уже способны выполнять многошаговые инструкции, но ещё регулярно ошибаются из-за ограничений конкретной обвязки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
