Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM справились лишь примерно с половиной задач, где нужно восстановить реальный результат исследования по описанию эксперимента. В препринте команды Nanyang Technological University и партнёров, который не прошёл рецензирование и опирается на замеры авторов, лучшая универсальная модель GPT-6-Astra набрала 53,7%. Профильная адаптация вывела модель с открытыми весами на тот же уровень, поэтому для материаловедения обучение на отраслевых данных может дать больше, чем переход между универсальными моделями.
Для FrontierMat собрали задачи из академических и промышленных исследований в аэрокосмической отрасли, полупроводниках, робототехнике и термоядерной энергетике. Модель получала условия эксперимента и варианты ответа, но не видела итог исследования: требовалось выбрать результат, который действительно наблюдали. Главная ошибка оказалась содержательной, а не формальной: в 83% разобранных неверных ответов на задачи с несколькими вариантами модели поддерживали правдоподобный результат, которого в эксперименте не было.
Особенно трудно моделям связывать процессы разных масштабов — например, выводить прочность образца из структуры волокон и распределения нагрузки. На сопоставимых задачах такие цепочки снижали результат на 8,7 процентного пункта относительно задач внутри одного масштаба. Это отделяет знание терминов и типичных закономерностей от способности работать с конкретными экспериментальными свидетельствами.
Для профильной адаптации Qwen3.5-35B-A3B продолжили обучать на материалах по композитам и двумерным материалам, а затем добавили отдельные модули для процессов микро-, мезо- и макроуровня. Результат вырос с 36,7% до 55,4%; разница с GPT-6-Astra осталась в пределах погрешности. Средний результат на проверенных общецелевых тестах при этом не снизился.
Проверка охватила 330 задач и семь моделей в закрытом режиме без инструментов. Все задания предлагали варианты ответа, композиты встречались чаще других классов материалов, а основную адаптацию провели только на одной модели. Поэтому FrontierMat показывает полезность специализации в заданных условиях, но не подтверждает готовность LLM самостоятельно планировать дорогостоящие или критичные для безопасности эксперименты.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
