Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Полная история научного проекта может не помогать ИИ-агенту, а подталкивать его повторить уже исправленную ошибку. В не прошедшем рецензирование препринте, где все числа получили сами авторы, лучший результат модели составил 63,5% правильных решений против 73,4% у исследователей, впервые увидевших проекты. Значит, длинный контекст пока нельзя считать страховкой от неверного выбора эксперимента.
Для SciΠvot собрали 248 развилок из проектов в шести научных областях. В каждой из них исходный агент предложил план, после чего старший исследователь его исправил. Проверяемая модель видела оба варианта и материалы, доступные до вмешательства: описание задачи, заметки о ходе работы, код и журналы экспериментов. Верным считался выбор человеческого исправления, подтверждённого дальнейшим ходом проекта.
При среднем объёме рассуждений четыре из пяти моделей чаще выбирали исходный ошибочный план. Все модели справлялись хуже с историей проекта, чем с двумя планами без неё, а повторная проверка ответа давала нестабильный результат. В одном случае агент предложил перейти на более крупную модель после нулевых результатов в Code Arena, хотя проблема оказалась в коде оценки: он пропускал извлечение ответа из сгенерированного текста. Записи проекта поддерживали прежнее объяснение и мешали моделям проверить его по коду.
Проверка охватывает Astra, Opus, Grok, Sol и Terra на теоретических и вычислительных задачах: от машинного обучения до биологических изображений и моделирования материалов. Случаи специально выбирали среди решений, по которым модели расходились, поэтому SciΠvot измеряет распознавание сложных научных развилок, а не общую частоту ошибок. Для систем автономных исследований из этого следует практическая граница: запуск экспериментов можно передать агенту, но смену гипотезы, проверку аномалий и выбор следующего дорогого запуска стоит оставлять под контролем исследователя.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
