Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Даже лучшие ИИ-агенты редко доводят реалистичную банковскую задачу до приемлемого результата. В ATLAS-Finance от Handshake AI Claude Opus 5 и Fable 5.1 прошли менее 11% заданий даже с тремя попытками, хотя препринт не рецензировали и числа получили сами авторы. Для подобных продуктов одной проверки формул недостаточно: нужно отдельно контролировать исходные требования и финансовые допущения.
Бенчмарк включает 100 сквозных задач в среде инвестиционного банка. Агент получает краткое поручение, ищет уточнения и обновления в Outlook, Slack, Google Drive, Google Calendar и OneNote, затем собирает модель в Excel и отправляет её нужному сотруднику. Задача считается пройденной, только если выполнены все критические требования и не сработал ни один штраф.
Больше половины найденных первопричин, 53,8%, связаны с неверной финансовой логикой: агент выбирает неподходящий метод, трактует допущение не так или ошибается в расчётной базе. Ещё 26% приходятся на неполный объём работы. Остальные ошибки возникают при связывании формул, переносе исходных данных, включении готовых компонентов в расчёт и отправке результата.
Claude Opus 5 однажды построил одну и ту же ошибочную логику в Python и Excel. Все 13 внутренних проверок сошлись, поскольку обе реализации использовали неверное налоговое допущение, но годовая амортизация оказалась занижена на 22,6%. Такой сбой особенно опасен в продукте: файл выглядит согласованным и не показывает ошибок в ячейках.
Проверка охватывает несколько видов банковской работы, включая сделки M&A, кредитование, оценку компаний и инфраструктурное финансирование, но проходит в смоделированных организациях. Когда часть моделей получала все сведения сразу, их оценки росли: поиск требований среди писем и файлов сам по себе добавляет ошибки. Среда при этом не проверяет поиск во внешнем интернете и обсуждение правок с коллегами или клиентами.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



