Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Появился FrontierPhysics — тест для ИИ-агентов, который проверяет целое физическое исследование, а не ответ на готовый вопрос. Лучшая конфигурация справилась лишь с 27,4% попыток; работа пока не рецензирована, а числа получили сами авторы. Для разработчиков научных агентов это задаёт более строгую схему приёмки: верный расчёт сам по себе не означает пригодный результат.
Агент получает задание уровня поручения от научного руководителя, но не готовый метод или исходную статью с решением. Он должен изучить литературу, составить план, провести расчёты или эксперименты, проверить результат и подготовить структурированные данные вместе с научной рукописью.
Результат проверяют в два этапа. Программные тесты сопоставляют вычисления с эталонными значениями, а другой агент изучает рукопись, код, файлы и всю траекторию работы по критериям, которые составили физики. Обязательные критерии отсеивают недостоверные выводы, выдуманные результаты и слабые доказательства; дополнительные оценивают качество обзора литературы, мотивацию и изложение. Высокая оценка текста не компенсирует ошибочный расчёт.
Лучше всех выступила связка Claude Opus 5.5 и Claude Code. Ручной разбор показал, что агенты чаще проваливались из-за недостаточно строгих рассуждений и слабой профессиональной интуиции, а не из-за нехватки знаний по физике или ошибок при запуске инструментов. Например, модель могла проверять результат способом, который зависел от того же ошибочного предположения.
FrontierPhysics включает 56 задач из девяти областей теоретической, вычислительной и экспериментальной физики. В испытании участвовали 22 модели в нескольких агентских средах. Причины сбоев вручную разбирали только для GPT-6 Astra, поэтому эта часть выводов может не переноситься на другие сочетания модели и среды.
Источники
Иллюстрация: рисунок из статьи «FrontierPhysics: Evaluating Agents for End-to-End Physics Research», Bingran You, Wenjun Ke, Ria Rosenauer и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
