Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковые модели могут заранее отбирать фриланс-задачи, которые ИИ-агент, скорее всего, выполнит успешно, но для этого им нужно точно описать его ограничения. В работе Upwork, которая не прошла рецензирование и где все замеры выполнили сами авторы, такое описание повысило качество ранжирования на 0,30 AUC в среднем. Для маршрутизации заявок из этого следует практическое правило: название класса агента и список инструментов не заменяют его фактический паспорт возможностей.
Для PayWorthy собрали 1 494 реальных объявления с фриланс-платформы. Агент на базе Claude Opus 5 получал только текст объявления, работал без инструментов и возвращал результат за один проход. Затем GPT-5 в роли клиента решал, стоит ли принять и оплатить работу; положительный вердикт получили 54% результатов. Другие модели до попытки прогнозировали вероятность успеха.
AUC здесь показывает, насколько часто прогноз ставит принятую работу выше отклонённой; случайная сортировка даёт 0,5. Когда в запросе перечисляли реальные ограничения агента, модели достигали AUC от 0,66 до 0,86. Описание «агент с браузером и выполнением кода» давало от 0,45 до 0,56 — практически случайный порядок.
Главный источник ошибки — материалы клиента. Универсальное описание заставляло модели подразумевать, что агент сможет запросить файлы, доступы или уточнения. Иногда модель прямо называла отсутствие материалов риском, но не снижала прогноз. Явное указание, что агент работает только с объявлением и не связывается с клиентом, меняло оценку задачи.
Проверка охватывала объявления из разных профессиональных категорий, несколько семейств моделей-оценщиков и отдельный запуск агента с инструментами и условным клиентом. При этом результат измеряет решение LLM в роли клиента, а не фактическую оплату. Поэтому при автоматическом отборе задач в описание агента стоит включать доступные входные данные, возможность задавать вопросы, инструменты, форматы результата и доступ к системам клиента.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
