Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
ИИ-агенты смогли с нуля собирать RAG-системы, которые находят сведения в заданном корпусе и передают их языковой модели для ответа. В работе Tsinghua University и Sina Weibo, которая пока не прошла рецензирование и приводит замеры самих авторов, лучший агент набрал 56,1 балла против 44,4 у Human-SOTA. Значит, агенту уже можно поручить не только настройку готового конвейера, но и выбор его архитектуры.
В AutoRAGBench агент получал чистый контейнер, корпус документов и примеры вопросов с ответами, но не стартовый код и не список допустимых схем. Он сам анализировал данные, писал код, строил индекс, выбирал поиск и повторно ранжировал найденные фрагменты. На каждую задачу давали одну GPU H800 и шесть часов.
Лучший результат показал GPT-6.1 Sol с Codex CLI. Отдельно ему дали готовые человеческие системы и разрешили улучшать их, сохраняя основной механизм: на семи задачах средний результат вырос на 16,6 балла. Это практичный сценарий для существующего продукта — агенту не обязательно переписывать RAG целиком, чтобы найти более удачный поиск или отбор доказательств.
Итерации работали не всегда устойчиво. Из 77 сопоставимых запусков 72 закончили с результатом хотя бы на один балл выше первой версии, но в 20 случаях финальная версия уступила лучшей промежуточной. Поэтому агенту всё ещё нужен внешний контроль, который сохраняет удачные сборки и проверяет изменения на закрытом наборе вопросов.
Проверка охватила девять задач: открытые вопросы, поиск по нескольким документам, медицину, научные статьи, проверку фактов и графы знаний. Финальные системы тестировали на скрытых вопросах, а ответы по одним и тем же найденным материалам строили пять моделей. Такой протокол показывает способность агента разрабатывать поиск в ограниченной среде, но не заменяет проверку на данных, задержках и требованиях конкретного продукта.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



