Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Один и тот же способ управления контекстом может исправить слабого агента для работы с данными и ухудшить сильного. В нерецензированном препринте University of Southern California, Oracle AI и University of Pennsylvania собственные замеры показывают: оркестрация добавила преждевременно отвечающим моделям 23 процентных пункта точности, но увеличила стоимость задачи в четыре раза. Поэтому архитектуру стоит выбирать после проверки поведения агента, а не по средней оценке техники.
Авторы сравнили семантический слой, оркестрацию и сжатие истории. Семантический слой заранее описывал таблицы, столбцы, связи и способы чтения данных; оркестрация делила вопрос между планировщиком, профильными агентами и проверяющим; сжатие заменяло растущую историю ограниченной рабочей памятью.
Без этих техник модели разделились на три группы. Агенты-исследователи почти всегда применяли инструменты и проверяли источники. Преждевременно отвечающие модели пытались дать результат до работы с данными, а рано останавливающиеся начинали поиск, но затем сдавались или повторяли действия.
Оркестрация лучше всего исправляла первую привычку: отдельные исполнители должны были вернуть планировщику подтверждения из источников. Семантический слой лучше помогал агентам, которые останавливались слишком рано: точность выросла на 4,6 процентного пункта, а стоимость — на 10%. Сжатие удерживало запросы небольшими и помогало на самых длинных заданиях, но в среднем меняло точность не более чем на два пункта и иногда заставляло агента повторять уже выполненные шаги.
Для агентов-исследователей дополнительные конструкции оказались помехой. Оркестрация снизила их точность на пять пунктов при росте стоимости на 70%: проверяющий отвергал пригодные свидетельства или одобрял неверный вывод, а агент реже обозначал неопределённость. Семантический слой иногда воспринимался как готовый ответ и отбивал привычку открывать данные.
Проверка охватила 1 514 длинных заданий из пяти тестовых наборов и семь LLM. Агентам требовалось объединять файлы, базы данных, документы и веб-источники; модели, инструменты, подсказки и лимиты внутри сравнений оставались одинаковыми. Совместный эффект техник оказался меньше суммы отдельных эффектов, поэтому сначала полезно изучить журналы базового агента: оркестрацией лечить ответы без проверки, слоем — ранние отказы, а сжатием — переполненную историю.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
