Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Для ИИ-систем подготовили qtBench — испытательный набор из 29 открытых задач по алгебраической комбинаторике. В сотрудничестве с OpenAI исследователи получили предлагаемые решения для нескольких задач, хотя работа не рецензирована и её числа получили сами авторы. Такой результат показывает не только возможности моделей, но и потребность в правилах проверки и публикации машинных открытий.
Каждая задача требует найти простой комбинаторный алгоритм, который объясняет коэффициенты многочлена или тождество. ИИ должен предложить конструктивное объяснение математического результата, а не только итоговую формулу.
Вместе с задачами создали каркас инструментов для работы с комбинаторными объектами. Он помогает отсеивать попытки обойти условия и проверять предложенные решения. Тем самым qtBench задаёт полный контур эксперимента: от поиска алгоритма до первичной проверки кандидата.
Предлагаемые решения ещё не равны принятым математическим результатам. Работа переносит внимание на следующий этап: как публиковать машинные открытия, кто должен разбирать доказательства и этично ли запускать такой поиск в большом масштабе. Для команд, которые строят системы научного поиска, одного доступа к передовой модели недостаточно — нужна среда, которая ограничивает обход задачи и отделяет правдоподобный ответ от проверяемого решения.
Проверку проводили на 29 задачах одной области и с участием OpenAI; поскольку заметка сделана по абстракту, из него нельзя восстановить названия моделей, порядок экспериментов и способ проверки отдельных решений. Поэтому qtBench пока стоит рассматривать как постановку исследовательского процесса, а не как таблицу для выбора конкретной модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
