Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Точность модели с фиксированными весами можно повысить, если дать ей перебрать готовые ответы и выбрать тот, который она сама считает наиболее верным. В нерецензированном препринте Lev Stambler приводит собственные замеры: у Qwen3.8-27B число полностью решённых логических головоломок выросло в 15 раз. Для систем с ответом из заданного набора это предлагает промежуточный шаг между одиночным запросом и дообучением.
Как модель ищет ответ по вероятности Yes
Работа рассматривает модели выбора: они получают вопрос с заданным форматом ответа, например несколько вариантов или пару Yes/No, и назначают каждому варианту вероятность. Метод использует эту вероятность не только для одного решения, но и для поиска при ответе (test-time search).
Сначала модель получает полный предполагаемый ответ. Затем ей предлагают оценить, верен ли он, и считывают вероятность варианта Yes. Этот показатель становится внутренней оценкой качества: чем он выше, тем перспективнее кандидат.
После этого система меняет ответ и снова передаёт его той же модели. Один режим редактирует по одному элементу, другой совместно меняет несколько элементов. Поиск сохраняет варианты, которым модель назначила более высокую вероятность Yes, и продолжает перебирать кандидатов.
Веса модели при этом не меняются, новые обучающие примеры не нужны. Метод расходует дополнительные вычисления во время работы продукта: вместо одного ответа система несколько раз создаёт или оценивает кандидатов. Абстракт не раскрывает, как именно выбирают очередное изменение и когда поиск останавливают, поэтому воспроизвести весь алгоритм по доступному описанию нельзя.
Отдельная модель-оценщик здесь не нужна. Та же модель сначала предлагает решение, а затем оценивает его целиком. Это упрощает схему, но связывает результат с качеством её собственной оценки: высокая вероятность Yes служит ориентиром для поиска, а не внешней проверкой правильности.
Строгая проверка усилила разницу
На логических головоломках автор измерял две характеристики. Точность по отдельным пропускам показывает, как часто модель верно заполняет каждый элемент. Точная правильность засчитывает задачу только тогда, когда верны все элементы сразу.
У Qwen3.8-27B точность по отдельным пропускам выросла с 27,8% до 48,5%. Для строгой метрики эффект оказался заметнее: исправление нескольких локальных ошибок превращало частично верный ответ в полностью решённую головоломку. Поэтому рост числа целиком решённых задач выглядел сильнее, чем изменение средней точности отдельных элементов.
На общем наборе поиск по собственной оценке Yes также повысил точность StartLux Instant, Perplexity Decider, Clef и JEV. Прирост по отдельным пропускам составил от 4,0 до 13,0 процентного пункта, а число полностью решённых головоломок выросло у каждой модели. К JEV обращались только через публичный API, то есть подход не требовал доступа к её весам.
Проверка охватывает модели выбора и логические головоломки, где нужно согласовать несколько ответов; поскольку материал подготовлен по абстракту, а не по полному тексту, вычислительный бюджет поиска восстановить нельзя. Именно он определит, окупается ли прирост точности в продукте с ограничениями по задержке и стоимости запросов.
Когда поиск стоит добавить в план продукта
Работа меняет план команд, которые уже используют модель для выбора из фиксированных вариантов. Перед дообучением можно проверить более дешёвое с точки зрения разработки изменение: генерировать несколько полных решений, получать для них вероятность Yes и оставлять кандидата с лучшей оценкой.
Для этого API должен возвращать вероятность или иной сопоставимый показатель уверенности, а не только итоговую метку. Нужен и способ редактировать кандидата: отдельно менять элементы ответа либо предлагать новую комбинацию целиком. Если продукт получает только свободный текст без формальной структуры, описанная схема напрямую к нему не переносится.
Главный компромисс проходит между точностью и расходами во время каждого запроса. Дообучение переносит основную работу на этап подготовки модели, а поиск повторяет её при каждом решении. Поэтому прототипу стоит измерять не только долю верных ответов, но и число обращений к модели, задержку и стоимость одного принятого решения.
Наиболее подходящая задача имеет строгий критерий успеха и составной ответ, где одна ошибка портит весь результат. В такой постановке поиск может исправить несколько слабых мест согласованно. Если же продукт допускает частично верный результат или требует единственного быстрого вызова, эффект из логических головоломок ещё не доказывает практическую выгоду.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
