Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Поиск формальных доказательств научились направлять не только к корректному ответу, но и к заданной цене, длине и тематической чистоте. В препринте Columbia University, который не проходил рецензирование и приводит замеры самих авторов, LEVER обошёл агента с одним длинным диалогом и по доле решённых задач, и по расходам. Для разработчиков формальных доказателей это превращает качество результата из этапа последующей правки в параметр самого поиска.
Как оценить доказательство до его завершения
Обычный LLM-агент ищет любое доказательство, которое принимает Lean. Если результат слишком длинный или использует неподходящие математические средства, отдельный агент переписывает уже готовый текст. На первую траекторию токены уже потрачены, а выбранную в начале идею иногда нельзя исправить локальной правкой.
LEVER хранит поиск как граф И/ИЛИ (AND/OR). Узел «ИЛИ» соответствует цели, для которой достаточно выбрать один вариант доказательства. Узел «И» описывает разложение на подцели: чтобы принять такой вариант, нужно закрыть их все.
Алгоритм оценивает даже незавершённую ветку. Для уже выполненных шагов он использует фактическую цену или другое измеряемое свойство, а для открытых подцелей — прогноз. Затем LEVER продолжает ветку с лучшей суммарной оценкой. Если новый вариант выглядит выгоднее уже найденного, алгоритм может повторно разложить ту же цель, не удаляя прежнюю попытку.
Прогноз меняется после каждой попытки. Фактические расходы уточняют первоначальную оценку, поэтому система постепенно исправляет ошибки модели, которая предсказывает стоимость оставшейся работы. При этом уже потраченные деньги считаются невозвратными: выбор следующего шага зависит только от ожидаемых будущих расходов и качества итогового доказательства.
Корректность остаётся жёстким условием. Lean проверяет каждое разложение, а после завершения собирает выбранные ветки в один файл и проверяет его целиком. Поверх этого ограничения можно задать взвешенную цель: например, доплачивать за сокращение доказательства или за отказ от ссылок на результаты из другой области математики.
Поиск решил больше задач и реже уходил в чужую тематику
В основном сравнении LEVER решил 96% задач против 80% у сильного агента, который вёл одну длинную беседу с моделью. При одинаковом бюджете средние расходы снизились на 34%. Выигрыш связан в том числе с локальным контекстом: отдельная подцель не заставляет модель снова читать всю историю доказательства.
Для тематической чистоты авторы считали ссылки на результаты, которые относятся не к предмету исходной теоремы. Например, доказательство утверждения из теории меры штрафовали за лишний переход к интегралам, если ту же идею можно было выразить средствами самой теории меры.
Когда LEVER оптимизировал этот показатель во время поиска, тематическая нечистота сократилась на 42%. Последующая переработка уже готового доказательства дала 33%. Разница объясняется устройством задачи: лишнюю строку можно удалить в конце, но переход к другой математической идее часто определяется первым разложением теоремы на подцели.
С длиной картина иная. LEVER приблизился к результату последующей переработки, но не превзошёл её. Сокращение чаще допускает локальные изменения, поэтому сначала найти корректный текст, а затем сжать его может быть выгоднее, чем учитывать длину на каждом шаге поиска.
Когда работу стоит учитывать в архитектуре
Основное сравнение провели на восьмидесяти задачах PutnamBench, а качество доказательств проверяли на отдельной группе из двадцати успешно решённых задач. Во всех опытах использовали DeepSeek-V4-Flash-0731 и Lean 4. Задачи выбрали из трудной, но доступной для контролируемых прогонов части набора, ранжированной по расходам опубликованного запуска NearAI.
Цены пересчитали с единой долей попаданий в кеш, чтобы различия между длинным диалогом и множеством коротких разговоров не определяли итог сами по себе. Поэтому результаты показывают свойства поисковой схемы в заданной конфигурации, а не универсальное преимущество при любой модели, цене API или наборе теорем.
Для команды, которая строит доказатель формальных теорем, работа предлагает конкретное изменение архитектуры: хранить альтернативные разложения задачи, оценивать открытые подцели и выбирать продолжение по программируемой функции. Тогда стоимость, длина и тематическая чистота становятся частями одного поиска, а не тремя независимыми конвейерами.
Полностью отказываться от переработки готового текста не следует. Она остаётся подходящим инструментом для локальных свойств вроде длины. LEVER полезнее там, где метрика зависит от раннего выбора стратегии: например, когда доказательство должно оставаться внутри заданного раздела математики или когда дорогую ветку нужно остановить до её завершения.
Практический следующий шаг — не замена действующего агента, а отделение проверки корректности от оптимизируемой цели. Ядро Lean продолжает отвечать за истинность результата, а поисковый слой получает явную цену каждого свойства и строит кривую компромисса между качеством и расходами.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
