Журнал · Rit.work

Почему финансовому агенту мало проверить собственные источники

FinVeriQA показывает, как разделить маршрутизацию, расчёты, поиск и проверку финансовых ответов и почему валидатору нужен независимый источник.

Rit.work
Студия разработки
20 ноября 2026 г.4 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Финансовому ассистенту лучше раздать маршрутизацию, расчёты, поиск и проверку разным компонентам, а не поручать весь ответ одной LLM. Команда San José State University показала в препринте, который не прошёл рецензирование и содержит собственные замеры авторов: модель Mistral-7B верно выполнила 29% финансовых расчётов, а Python — 100%. Для продуктовой команды это аргумент в пользу составной архитектуры, где LLM формулирует ответ, но не выбирает путь, не считает и не подтверждает сама себя.

Каждую операцию отдали подходящему компоненту

FinVeriQA — исследовательский прототип для вопросов по отчётности SEC и рыночным данным. В нём работают шесть специализированных агентов: они загружают данные, считают показатели, классифицируют тональность, получают биржевую котировку, строят графики и пишут итоговый ответ.

Вопрос сначала получает модель Laya. Она выбирает маршрут из заранее заданных вариантов и отдельно отсеивает запросы на покупку, продажу или удержание акций. Это не генеративная LLM, которая свободно пишет решение, а компактная модель выбора: она возвращает подходящий путь и уверенность именно в этом выборе.

После маршрутизации запускаются только нужные агенты. Финансовые показатели вычисляет Python, актуальные цены приходят из Finnhub, а фрагменты отчётности находит поиск, который сочетает совпадение терминов и близость по смыслу. Mistral-7B получает готовые заметки и источники, а затем составляет короткий ответ с идентификаторами цитат.

Компоненты обмениваются результатами через общую память. Каждый элемент хранит источник, автора записи и признак свежести; рыночные данные со временем истекают. Такая память сокращает повторные обращения к отчётам и внешним сервисам, но создаёт отдельный риск: результат нельзя повторно использовать только по имени переменной, без привязки к компании, периоду и документу.

Перед выдачей ответа программный валидатор проверяет, что указанные идентификаторы существуют, а числа встречаются в заметках Python. Если проверка не проходит, модель пробует переписать ответ; после повторной ошибки система собирает его по шаблону. Этот барьер не позволяет LLM самостоятельно придумать число, но ещё не доказывает, что исходная заметка относится к нужной компании.

Общая ошибка проходит через всю цепочку

Laya выбрала правильный маршрут в 85% случаев против 52% у Mistral-7B. Увеличение генеративной модели не устранило разрыв, а модель с рассуждением работала медленнее. Результат поддерживает разделение ролей: свободная генерация полезна для текста, но структурированный выбор пути лучше поручать отдельному компоненту.

Главный сбой обнаружился не в формулировке ответа. В одном запуске агенты правильно выбрали маршрут, рассчитали показатели и прошли программную проверку, но описали демонстрационные данные AMD под именами NVIDIA и Alphabet. Валидатор подтвердил, что числа совпадают с заметками, хотя сами заметки относились к другой компании.

Контролируемый эксперимент на FinRank показал тот же механизм. Когда в доказательство заранее подставляли неверное значение, проверка по тому же материалу находила 35% ошибок. Сверка с исходным фрагментом обнаруживала 77%. Если автор ответа и проверяющий получают одну испорченную копию, их согласие подтверждает внутреннюю непротиворечивость, а не достоверность.

Поэтому независимость здесь означает отдельный путь к данным. Для числового утверждения проверяющий должен заново получить значение из отчёта или XBRL, а не читать заметку, по которой Mistral уже написала ответ. Для текстового утверждения нужно отдельно проверить, что цитата поддерживает конкретную фразу и относится к запрошенной компании.

Архитектуру стоит менять до выбора более крупной LLM

Работа меняет планы команд, которые собирают финансовых агентов вокруг одного системного запроса и набора инструментов. Замена базовой модели на более крупную не закрывает ошибки маршрутизации, арифметики и происхождения данных. Надёжнее сначала вынести эти операции в код и специализированные компоненты, а генератор оставить последним звеном.

Практическая схема следует из найденных сбоев. Маршрутизатор выбирает допустимый сценарий; Python считает по структурированным входным данным; поиск возвращает фрагменты с компанией, периодом и документом; LLM пишет только по подготовленным фактам. После этого отдельный проверяющий заново обращается к первоисточнику, сверяет сущность и период, проверяет поддержку каждой цитаты и убеждается, что ответ охватил все части вопроса.

Общую память также нужно считать частью контура качества, а не только способом ускорить работу. Ключ записи должен включать компанию, отчётный период, документ и маршрут. Журнал выполнения должен показывать, какие данные загрузили заново, какие взяли из памяти и какой источник использовал проверяющий.

Границы эксперимента пока узкие: маршрутизацию и арифметику оценивали на наборах по 100 примеров, поиск — на 50 вопросах к отчётности, а независимую проверку — на 60 элементах FinRank. Часть маршрутов прототипа использовала демонстрационные данные, интеграция поиска и XBRL не была завершена, а проверка полного ответа на достоверность ещё не реализована. Поэтому работа даёт инженерную схему и показывает тип отказа, но не доказывает готовность FinVeriQA к промышленному финансовому консультированию.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу