Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агент для многошаговых задач может менять специализацию по ходу одной работы, не переписывая остальные навыки. WeAct обошёл полную настройку всех весов на 6,2%, хотя препринт не рецензирован и числа получили сами авторы. Такой подход позволяет добавлять и обновлять отдельные способности без повторного обучения всей модели.
Адаптер становится ещё одним действием агента
Работа Carnegie Mellon University, Duke University и Meta MSL решает два связанных конфликта. Общие веса связывают все навыки: новое обучение может ухудшить то, чему модель научилась раньше. Отдельные модули изолируют обновления, но их статическое объединение ослабляет специализацию.
WeAct хранит планирование, поиск и написание ответа в отдельных LoRA-адаптерах. LoRA-адаптер — набор обучаемых матриц поверх замороженной базовой модели. При обучении меняется только модуль конкретного навыка, а базовые веса и другие адаптеры остаются прежними.
Адаптер обучают не на изолированном фрагменте, а на этапе внутри полной истории задачи. Предыдущие сообщения и результаты инструментов остаются контекстом, однако ошибка считается только для ответов текущего навыка и команды передачи управления. Поэтому поисковый модуль учится продолжать уже составленный план, а модуль письма получает собранные доказательства вместо пересказа промежуточного состояния.
Во время выполнения агент вызывает load_lora и offload_lora через обычный интерфейс инструментов. Активным остаётся один адаптер, который продолжает рассуждение и вызывает внешние инструменты в общей истории. Отдельный обученный маршрутизатор для выбора модуля не нужен.
У WeAct есть два режима. WeAct-hard предписывает последовательность специализаций, а WeAct-soft позволяет модели выбирать следующий модуль по состоянию задачи. Адаптеры остаются в памяти GPU, но при смене весов системе приходится заново строить кэш промежуточных состояний из сохранённой истории.
Разделение по навыкам оказалось важнее общей ёмкости
Авторы сначала проверили, можно ли устранить забывание простым увеличением общего адаптера. Это не помогло: при последовательном обучении ранние навыки теряли часть приобретённого качества. Случайное распределение примеров между независимыми адаптерами тоже не решило проблему — границы модулей должны совпадать с функциями агента.
Статическое объединение адаптеров дало второй источник ошибок. Методы TIES-Merging, DARE-TIES и TSPA заранее сводят обновления специалистов в один постоянный набор весов. Даже простое сложение без сжатия меняло действие каждого специалиста на его собственных примерах: параметры сохранялись, но их эффект искажали соседние обновления.
Основные испытания прошли на Qwen3-32B и восьми наборах задач для веб-исследований, поиска фактов и объединения доказательств. WeAct-hard получил среднюю точность 45,47% против 42,80% у полной настройки — разница составила 2,67 процентного пункта. Относительно сильнейшего статического объединения выигрыш достиг 27,5%.
Предписанный порядок оказался надёжнее свободного выбора в среднем, хотя WeAct-soft лучше выступил на отдельных наборах. Это важная деталь для архитектуры: способность модели самой выбирать специализацию пока не гарантирует лучший итог, а явная схема переходов остаётся полезным средством контроля.
Когда стоит менять архитектурный план
Работа меняет планы прежде всего для команд, которые строят одного агента с различимыми этапами: планирование, работа с источниками, вычисления, подготовка результата. Вместо совместной настройки всех навыков можно держать замороженную основу, обучать модули отдельно и переключать их через тот же механизм, которым агент вызывает внешние инструменты.
Такой дизайн упрощает локальные обновления. В эксперименте новый адаптер для вычислений добавили в существующую библиотеку, не меняя другие модули. Отдельное обновление модуля письма улучшило результаты на ResearchQA и DeepResearchBench, сохранив параметры планирования, поиска и базовой модели.
Практическая цена — более сложная среда выполнения. Она должна вести реестр адаптеров, проверять допустимые переходы, хранить общую историю и перестраивать кэш после смены весов. Для жёсткого режима также потребуется явно определить этапы процесса и условия передачи управления.
Вывод пока относится к одной базовой модели и агентам для глубокого веб-исследования с чётко разделёнными функциями. В самой работе границы навыков приходилось подбирать: более дробное разделение поиска и проверки оказалось нестабильным. При росте библиотеки также остаётся открытым вопрос, сколько модулей агент сможет надёжно различать и вызывать в длинной цепочке.
Поэтому WeAct не требует немедленно заменять обычную настройку в любом агенте. Но если продукт регулярно получает новые инструменты и требования, а переобучение одного навыка портит другие, динамические LoRA-адаптеры дают проверяемую архитектурную альтернативу общим весам и статическому объединению.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
