Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Data World создаёт с нуля наборы взаимосвязанных файлов для обучения аналитических агентов и сразу определяет, какие выводы из них можно проверить. Обученная на таких средах модель обошла базовую версию на внутренней проверке и внешних задачах анализа данных. Подход разработала команда Longcat Interaction Team, Meituan и нескольких университетов, хотя препринт не рецензировали, а все числа получили сами авторы.
Сначала задают устройство мира, затем создают файлы
Аналитический агент получает таблицы, журналы и выгрузки, пишет код, сопоставляет источники и формулирует выводы. Для его обучения мало подготовить вопрос с правильным числом: нужно проверить, понял ли агент причины изменения показателя и подтвердил ли вывод данными.
При работе с готовыми наборами критерии обычно составляют после изучения файлов. Разметчик может заметить, что продажи снизились из-за истёкших акций, но пропустить сокращение времени работы ресторанов. Тогда агент найдёт подтверждённую данными причину, которой нет в эталоне, и не получит баллы.
Data World меняет порядок. Система сначала строит ориентированный граф зависимостей: какие показатели влияют друг на друга, с какой задержкой, при каких порогах и с какими искажающими факторами. Затем фиксирует контракт мира — сущности, временную шкалу, единицы измерения, общие события и результаты, которые будущий агент должен суметь восстановить.
Из контракта система послойно генерирует полное состояние мира. Каждый слой создаёт отдельный агент, который видит предыдущие результаты только как неизменяемые файлы. Такой порядок не позволяет позднему этапу незаметно переписать исходные причины под желаемый ответ.
Отдельный этап превращает полное состояние в рабочие выгрузки. В них появляются пропуски, дубликаты, задержки, разные идентификаторы одной сущности, смена схем и расхождения единиц. Эти дефекты возникают по заданным правилам, поэтому система знает, что именно потерялось при наблюдении и можно ли всё ещё восстановить нужный вывод.
Независимый аудитор заново проверяет связи, общие ограничения и доступность целевых выводов по наблюдаемым файлам. Он не может исправлять среду: только принять её или зафиксировать провал проверки.
Для DataWorld-Bench отобрали 100 заданий из 50 ранее не использованных миров, охватывающих 16 предметных областей. Обучающий набор содержит 2 135 заданий из 1 037 других миров, поэтому ответы из обучения не переходят в итоговую проверку.
Рубрика отделяет расчёт от аналитического вывода
Каждое задание просит либо объяснить изменение показателя через предшествующие факторы, либо проследить его последствия. Критерии оценки создаются по контракту, журналам генерации и результатам аудита, а решающий агент получает только вопрос и наблюдаемые файлы.
Рубрика отдельно оценивает вычисления и найденные закономерности. Она начисляет баллы за подтверждённые расчёты и выводы, снимает их за противоречащие данным утверждения, но не штрафует за допустимый вывод, которого нет в списке. Баллов за такой дополнительный вывод агент тоже не получает.
Проверка передовых моделей выявила устойчивый разрыв: они чаще правильно считают показатели, чем объясняют их смысл и связи. Значит, хороший результат на задачах с однозначным числовым ответом ещё не показывает, что агент умеет проводить открытый анализ.
DataWorld-35B-A3B обучили на собственных попытках модели и оценках по рубрикам, без готовых решений от более сильной модели. Она превзошла базовую версию во всех четырёх проверках: на 7,06 балла в DataWorld-Bench, на 14,28 в DAComp, на 20,90 в DABstep-Hard и на 12,13 в JobBench. Последняя проверка охватывает профессиональные задачи за пределами анализа данных, поэтому результат указывает на перенос навыка работы с файлами, а не только на запоминание формата синтетической среды.
Командам стоит менять подготовку данных, но не продуктовую проверку
Работа меняет планы команд, у которых узким местом стали обучающие среды и проверка открытых ответов. Вместо ручной разметки каждого пути решения можно описать механизм предметной области, получить несколько взаимосвязанных файлов и автоматически вывести из известного состояния проверяемые критерии.
Такой подход особенно подходит для сценариев, где реальные записи нельзя свободно использовать из-за приватности или интеллектуальных прав. Он также снижает зависимость от способности разметчика заранее найти все целевые закономерности в готовом наборе данных.
Однако Data World проверяли как цельную систему: работа не разделяет вклад генерации, аудита и рубрик. Авторы также не сравнивали эффективность синтетических и реальных обучающих данных, а человеческий отбор реалистичных вопросов не доказывает соответствие запросам пользователей в работающем продукте.
Оценку проводит другая LLM, поэтому результат зависит от модели-оценщика. Известное устройство мира делает целевые критерии проверяемыми, но не гарантирует, что система правильно оценит все альтернативные объяснения.
Практический следующий шаг — использовать такие миры как дополнение к реальным сценариям: расширять обучение и предварительно проверять способность агента искать причины, а перед запуском сохранять отдельные испытания на собственных файлах и запросах пользователей. Перестраивать продукт вокруг Data World рано, но архитектуру подготовки обучающих данных уже имеет смысл проектировать так, чтобы причины, наблюдения и критерии оценки хранились раздельно.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
