Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
В новом тесте ИИ-агенты собирают разрозненные научные улики, но застревают, когда для объяснения нужно ввести новые сущности и переписать переменные. В препринте, который не прошёл рецензирование и приводит замеры самих авторов, ни одна из 11 моделей не справилась с этим при открытой схеме описания. Для исследовательских продуктов это разделяет две возможности, которые часто считают одной: поиск фактов и построение новой теории.
ULTRADISCOVERY представляет собой интерактивный мир из пяти связанных областей. Агент должен пересмотреть теорию, которая сначала работала, а затем предсказать результат ещё не показанного воздействия между областями. Авторы независимо меняли два условия: раскрывали готовую схему описания или оставляли её открытой, а улики собирали вместе либо распределяли между контекстами.
При открытой схеме агенты часто отказывались от исходной аксиомы, но не вводили скрытую сущность и не переписывали переменные так, как требовала новая теория. Готовая схема втрое увеличивала число запросов на экспериментальные воздействия и давала примерно одну дополнительную находку из 18 возможных. Сведение улик в один контекст помогало меньше.
Ни одна система не дала точный прогноз в пределах 200 платных действий. При большем бюджете точный ответ появился только с обеими подсказками — раскрытой схемой и сведёнными уликами, — тогда как задания с открытой схемой остались нерешёнными. Поэтому бюджет действий и длинная история наблюдений сами по себе не гарантируют, что агент перестроит представление задачи.
Проверка относится к искусственному миру с фиксированной скрытой динамикой, а поскольку заметка сделана только по абстракту, детали процедуры сверх этого описания восстановить нельзя. Для разработчика исследовательского агента результат даёт отдельный критерий проверки: система должна не только находить факты, но и заменять сущности и переменные, когда прежняя теория перестаёт работать.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
