Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Совпадение ответа с эталоном не гарантирует, что ИИ-агент корректно восстановил историческое инвестиционное решение. В BuySideFlow временные нарушения нашли в 50,8% запусков, которые прошли обычную проверку, хотя препринт не рецензирован и все числа получили сами авторы. Поэтому при приёмке таких систем нужно проверять не только результат, но и исполненный SQL- или SQL–Python-сценарий.
Авторы собрали 408 задач на китайском языке по акциям, фондам, облигациям и макроэкономике. Агент работал с фиксированным снимком лицензированной финансовой базы и должен был соблюдать корректность на момент времени (point-in-time): учитывать только уже раскрытые сведения, брать исторический статус компании или классификацию отрасли и правильно выбирать версию записи.
Эти правила нельзя заменить фильтром по одной дате. Например, отчёт может относиться к декабрю, но стать публичным только в марте. В другом случае фонд уже сменил категорию, однако агент сначала отбирает записи по старой категории и лишь затем выбирает актуальную версию — итог может случайно совпасть с эталоном, хотя порядок действий неверен.
Для девяти конфигураций доля запусков, где итог прошёл проверку, составила от 16,2% до 36,8%. Проверка таблиц, графиков и текста отвечала на вопрос, получен ли нужный результат. Отдельный аудит программы и журнала исполнения искал использование будущих раскрытий, подмену исторического состояния текущим и ошибки при восстановлении версий.
Границы результата задаёт сам набор: одна база, китайский рынок и по одному сохранённому запуску на задачу. Подробный аудит проводили на общей сотне задач, поэтому сравнение конфигураций зависит и от того, какие задания каждая из них смогла пройти. Для продуктовой проверки отсюда следует практическое правило: эталонный ответ нужно дополнять аудитом источников данных, временных отсечек и порядка операций.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
