Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
SqueezeBench превращает оценку математических агентов из набора задач с фиксированным потолком в соревнование за всё более точные доказанные границы. В нерецензированном препринте TU Wien, где все числа получили сами авторы, новые агенты улучшили 19 из 20 рекордов, уже поднятых предыдущей системой. Формат можно использовать для последовательной проверки поколений агентов, но он измеряет прежде всего умение находить и формализовать математические границы в Lean.
Успешное решение не убирает задачу из бенчмарка
Обычный бенчмарк перестаёт различать системы, когда лучшие модели решают почти все задачи. Набор открытых проблем сохраняет сложность дольше, но каждую из них можно впервые решить лишь однажды: затем доказательство становится публичным, а повторное решение уже не показывает нового результата.
SqueezeBench оставляет задачу в наборе после каждого успеха. Для неё задают целочисленную функцию f(n), точное значение которой известно только при небольших параметрах. Бенчмарк хранит две вычислимые функции: одна ограничивает искомое значение снизу, другая — сверху.
Агент сам предлагает новую границу и доказательство. От него требуют показать, что функция действительно ограничивает f(n), нигде не хуже текущего рекорда и хотя бы в одной точке строго лучше. Принятая функция становится следующим рекордом, поэтому последующий участник стартует с более высокой планки.
Такой порядок учитывает промежуточный математический прогресс. Можно улучшить результат при одном значении параметра, уточнить младшие члены формулы или получить более выгодную скорость роста. Обычная оценка «решено или не решено» эти различия скрывает.
Единого итогового балла у SqueezeBench нет. История показывает, кто и когда улучшал каждую границу, а системы предлагают сравнивать из одного снимка, при одинаковом бюджете и по достигнутым функциям. Число принятых отправок само по себе не подходит для ранжирования: один агент может двигать рекорд небольшими шагами, другой — заменить его одной сильной формулой.
Lean проверяет доказательство и не даёт спрятать полный перебор
Каждая граница записана как функция на Lean 4 поверх Mathlib. Отправка содержит определение функции, доказательства требуемых свойств, точку строгого улучшения и отчёт о том, как получен результат.
Доказательства проверяют основной вычислительный механизм Lean и независимая реализация его ядра. Система также ограничивает допустимые аксиомы и вычислительные расходы, проверяет, что функция не обращается к самому неизвестному f, и не разрешает менять файлы за пределами новой версии рекорда. Математическому рецензенту не нужно вручную подтверждать доказательство.
Без отдельной защиты агент мог бы вычислять точный ответ полным перебором. Такая функция была бы корректной, но фактически закрыла бы рекорд для дальнейших улучшений. Поэтому система вычисляет новую границу для параметров до 100 в пределах заданного бюджета, а сопровождающий читает отчёт и проверяет, не начинается ли перебор выше этого порога.
Проверка не устраняет участие человека полностью. Сопровождающий один раз сверяет формальное определение с исходной математической задачей, просматривает отчёт и принимает изменение в репозиторий. Зато повторную проверку всей истории можно запустить автоматически, поскольку старые условия и принятые версии сохраняются.
Для выбора модели нужен контролируемый запуск, а не готовая таблица мест
Бенчмарк проверили на десяти задачах экстремальной комбинаторики, для каждой поддерживали верхнюю и нижнюю границу. Агент на Opus 5 начал с элементарных рекордов и провёл 82 принятых улучшения. Затем агенты на Fable 5.1 и Opus 5.5 стартовали с достигнутых границ и добавили ещё 60.
Второй этап не сравнивает модели напрямую. У запусков различались бюджеты, подсказки и вычислительная среда; новым агентам также разрешали советоваться с GPT-6 Astra. Они могли искать материалы в интернете, поэтому значительная часть результата показывает способность найти опубликованную границу, перенести её в Lean и доказать совместимость с текущим рекордом.
Масштаб работы тоже задаёт границы вывода: все задачи относятся к одной области математики и имеют один параметр. В большинстве задач хотя бы один итоговый рекорд всё ещё отстаёт по скорости роста от лучшей опубликованной границы. Это оставляет бенчмарку запас, но не доказывает, что он так же хорошо различит агентов в алгебре, геометрии или прикладной оптимизации.
Командам, которые разрабатывают агентов для Lean, SqueezeBench даёт полезный протокол испытаний: фиксированный снимок рекордов, одинаковый бюджет и сравнение достигнутых границ по значениям параметра. Он проверяет сразу поиск идеи, работу с литературой, написание формального доказательства и соблюдение вычислительных ограничений.
Для общего выбора LLM результаты нельзя переносить напрямую на разработку программ, анализ документов или неформальные математические ответы. Практическое изменение планов касается прежде всего команд, которым прежние наборы теорем уже дают близкие к максимальным оценки: вместо постоянного добавления задач можно поддерживать проверяемые рекорды, где каждый успех автоматически усложняет следующий запуск.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
