Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Поведение узкого ИИ-агента сначала отладили в продакшене, а затем перенесли в маленькую модель без потери качества. В нерецензированном препринте, где числа получены самим автором Keegan Wang из Carnegie Mellon University, Qwen3-8B совпала с записанными решениями в 91,3% случаев, тогда как GPT-5.4-nano повторила собственные ответы лишь в 72,7%. Для архитектуры агентов это предлагает не замену большой модели, а момент, когда её стоит убрать с повторяющегося участка.
Поведение сначала закрепляют на большой модели
Работа разбирает агента для агентств домашнего ухода. Когда нужно закрыть смену, система отдельно оценивает каждого сотрудника и вызывает инструмент с одним из двух решений: добавить кандидата в рассылку или отклонить. Входные данные содержат свободный текст, пропуски и противоречия, поэтому правилами задачу не закрыли.
Пока политика агента менялась, система работала на GPT-5.4-nano. Команда редактировала подсказки, инструменты и правила, сразу видела результат на рабочем потоке и сохраняла точный контекст каждого вызова вместе с решением.
Одна строка в подсказке изменила особенно неудачный результат: агент сначала одобрил 2 кандидатов из 49, поскольку считал мягкие отметки в профиле запретами, а после исправления пропустил 40. Если бы поведение уже находилось в весах маленькой модели, для такой правки потребовалось бы новое дообучение.
Переход начали после того, как политика стабилизировалась. Из записанных вызовов восстановили те же сообщения, которые видел рабочий агент, и связали их с его фактическими вызовами инструмента. После фильтрации и удаления повторов получилось 11,6 тысячи примеров для дообучения Qwen3-8B адаптерами LoRA.
Принципиальная деталь — модель училась не на специально сгенерированных примерах, а на следах реальной системы. Поэтому набор отражал фактические форматы, спорные случаи и распределение запросов, хотя целевые ответы по-прежнему исходили от большой модели.
Маленькая модель оказалась последовательнее учителя
Совпадение с записанным решением здесь не равно объективной точности. Оно показывает, насколько модель воспроизводит уже принятую политику. Повторный запуск GPT-5.4-nano задал полезную нижнюю границу: если учитель сам отвечает нестабильно, от ученика не требуется буквально повторять каждый новый ответ учителя.
Проверку дополнили слепой оценкой профессионального диспетчера. Во всех случаях, где модели расходились, специалист выбрал Qwen3-8B 48 раз, а исходное решение GPT-5.4-nano — 29 раз. Маленькая модель реже отсеивала подходящих сотрудников, но несколько чаще пропускала тех, кого специалист предпочёл бы исключить.
Дообученная модель также отвечала с медианной задержкой примерно в 2,5 раза ниже. Расчетная стоимость оказалась примерно в 7 раз ниже при полной загрузке отдельного GPU. Это оценка инфраструктуры, а не гарантированный тариф: итог зависит от загрузки ускорителя и от того, использует ли большая модель кэш подсказок.
Обычная Qwen3-8B без дообучения не была равноценной альтернативой: она часто формировала непригодные вызовы инструмента и отвечала медленнее. Экономию дала не сама смена модели, а перенос уже сформированной политики в её веса.
Планы стоит менять для стабильных и массовых подзадач
Работа поддерживает двухэтапный план разработки. На ранней стадии выгоднее оставить большую модель: подсказку можно исправить сразу, а не запускать обучение после каждой смены требований. Маленькая модель становится кандидатом на обслуживание только тогда, когда команда перестала регулярно менять правила и накопила репрезентативные рабочие следы.
Такой переход нужно предусмотреть в архитектуре заранее. Система должна сохранять точные входы, версии подсказок и вызовы инструментов, иначе позднее придётся собирать обучающий набор заново. Нужна и отдельная человеческая проверка расхождений: согласие с историческими ответами измеряет верность прежней политике, но не доказывает её правильность.
Результат пока относится к одной бинарной подзадаче, одному домену и одному учителю. Все замеры сделаны при офлайн-воспроизведении записанных запросов; дообученная модель ещё не обслуживала рабочий трафик, а экспертные ответы дал один диспетчер. Поэтому работа не обосновывает массовую замену LLM во всём агенте.
Практическое изменение плана уже уже: в узлах, которые выполняют одно стабильное решение много раз, большую модель можно считать временным инструментом проектирования. После накопления следов этот узел стоит отдельно проверить на перенос в маленькую модель, оставив остальному агенту прежнюю архитектуру.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
