Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Для ИИ-агента научились совместно выбирать базовую модель, инструменты и готовые сценарии действий под конкретную задачу. Команда Australian National University и других организаций нашла точную эталонную конфигурацию среди десяти кандидатов для 67,73% запросов, хотя препринт не прошёл рецензирование и все числа в нём получили сами авторы. Для систем с меняющимся каталогом ресурсов это предлагает альтернативу отдельному маршрутизатору моделей и поиску инструментов.
Почему отдельная оценка инструментов теряет полезные сочетания
Обычная схема сначала выбирает модель, затем ранжирует инструменты по сходству с запросом. Она предполагает, что полезность каждого ресурса можно оценить отдельно, но в агенте результат зависит от всего набора.
Для планирования поездки недостаточно найти сервис бронирования жилья. Агенту могут одновременно понадобиться проверка правил для животных, построение маршрута и расчёт расходов. Самые релевантные по отдельности инструменты способны дублировать друг друга или не закрывать часть задачи.
Базовая модель тоже влияет на состав набора. Один инструмент может помочь модели, которая умеет надёжно вызывать функции, но не улучшить работу другой. Поэтому AgentComposition рассматривает модель и ресурсы как одну конфигурацию и оптимизирует итог выполнения, а не сумму оценок отдельных компонентов.
Такой подход отличается и от повторного использования готового агента. Историческая конфигурация создавалась для другой задачи и может не учитывать новое условие. Метод использует прошлые удачные наборы как подсказки, но собирает новый вариант под текущий запрос.
Как генератор собирает набор, а модель-оценщик выбирает лучший
Система сначала извлекает из каталога подходящие модели, инструменты, навыки и конфигурации похожих задач. Навык здесь — готовый сценарий действий, который агент может подключить вместе с инструментами. Это сокращает пространство поиска до ресурсов, связанных с запросом.
Затем дообученный Meta-Llama-3-8B строит конфигурации по шагам. Он выбирает базовую модель, после чего добавляет каждый следующий ресурс с учётом уже собранного набора. Ограниченный лучевой поиск разрешает выводить только идентификаторы из найденного каталога, поэтому генератор не придумывает несуществующие компоненты.
Ресурсы представлены описаниями, а не отдельными выученными токенами. Новый инструмент можно включить в поиск после индексации описания, не обучая генератор заново на всём каталоге. Это главное практическое отличие от методов, жёстко привязанных к составу обучающей выборки.
Готовые конфигурации ранжирует отдельная модель-оценщик. Сначала она учится на оценках LLM и вариантах, где из эталонного набора удалили, добавили или заменили компоненты. Если доступны результаты реальных запусков, оценщик дополнительно учится предсказывать итоговую полезность агента.
Проверка охватывает AgentSelect с 231 моделями и 12 099 инструментами, а также SkillsBench, BFCL и SWE-Skills-Bench. Для анализа выполнения авторы собрали AgentSelect-Exec из 5 060 запущенных конфигураций. Результат измеряли либо программными проверками задач, либо оценкой другой языковой модели.
Когда это меняет архитектурный план
Без обратной связи от выполнения генератор выбирал лучший вариант со средней оценкой 7,58. Обучение оценщика на косвенных сигналах подняло результат до 8,37 по десятибалльной шкале, а данные реальных запусков — до 8,78. Значит, история выполнения полезнее совпадения с эталонным набором: конфигурации могут выглядеть одинаково правильными, но работать по-разному.
Модель-оценщик стоит применять после генерации кандидатов, а не во время неё. Когда её использовали для раннего отсечения ветвей поиска, результат снизился до 8,57. Оценщик обучался на законченных конфигурациях и хуже судил о частично собранных наборах.
Для команды это задаёт понятную архитектуру: извлекать кандидатов из каталога, собирать несколько полных конфигураций, выполнять часть из них и сохранять итог задачи вместе с составом агента. Накопленные запуски затем улучшают ранжирование без замены всего контура.
Работа меняет планы прежде всего там, где модели, API и навыки регулярно добавляются, а один запрос требует сочетания нескольких возможностей. Если продукт использует фиксированную модель и небольшой неизменный набор функций, совместная композиция решает задачу, которой в такой архитектуре почти нет.
Перенос на новые каталоги проверяли на нескольких наборах задач: генератор адаптировался по небольшому числу целевых примеров, а оценщику помогали выполненные конфигурации. Но эксперименты опираются на один базовый генератор и ограниченные среды, поэтому метод пока разумнее проверять рядом с текущим маршрутизатором, сравнивая конечный результат задачи.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



