Журнал · Rit.work

Когда LLM выгоднее переписать запрос, чем спросить ещё раз

Эквивалентные варианты запроса дают LLM информацию, которую нельзя получить повторными ответами на одну формулировку, а полный перебор вариантов не нужен.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Дополнительные запуски LLM выгоднее тратить на равнозначные варианты запроса, если ответ модели зависит от формы входных данных. Behrooz Tahmasebi и Melanie Weber из Harvard показали, что повторные ответы на исходный запрос не заменяют такое переписывание, но препринт не рецензирован, а все числа получили сами авторы. В подсчёте рёбер голосование по вариантам записи подняло точность со случайной записи с 38% до 92% при прежнем вычислительном бюджете.

Почему повторные ответы не заменяют новую запись

Одна задача часто допускает несколько представлений с одинаковым смыслом. В графе можно перенумеровать вершины и переставить рёбра, в тесте — изменить порядок вариантов ответа, в логической задаче — переставить условия. Правильный результат от этого не меняется, но LLM может ответить иначе.

Обычное повторное декодирование исследует только случайность ответа на одной формулировке. Модель несколько раз получает тот же запрос, строит разные цепочки рассуждений, а система выбирает большинство или лучший ответ. Она не узнаёт, как та же модель повела бы себя после перестановки вершин или вариантов.

Работа формализует это различие через две модели, которые дают полностью одинаковые ответы на исходный запрос, но расходятся на его эквивалентных записях. Алгоритм, работающий только с исходной формой, не различит их при любом числе повторов. Средний ответ по всем допустимым записям при этом окажется разным.

Предложенная схема сначала создаёт несколько случайных эквивалентных вариантов входа, затем запускает на каждом модель и объединяет ответы. Если преобразование меняет обозначения ответа, система сначала возвращает их к исходным координатам. Например, после перестановки вариантов теста она сопоставляет выбранную букву с самим вариантом и только потом считает голоса.

Как число переписываний растёт с размером задачи

Полный перебор быстро становится невозможным. Граф с 20 вершинами допускает около 2×1018 перенумераций. Однако для приближения среднего ответа по всем вариантам достаточно числа случайных переписываний, которое растёт как логарифм от числа допустимых преобразований, если заранее зафиксировать требуемую точность и вероятность ошибки.

Эта оценка относится не к точности ответа на задачу, а к близости сокращённого голосования к полному перебору. Если полный средний ответ ошибочен, дополнительные варианты не исправят его. Гарантия также усредняет ошибку по исходным представлениям задачи и не обещает одинакового результата для каждой отдельной записи.

Эксперименты сравнивали одинаковый бюджет: повторные цепочки рассуждений на одной записи против одной цепочки на каждой из нескольких записей. На подсчёте рёбер для крупных графов случайная запись давала 38% правильных ответов, а голосование по 16 записям — 92%. Результат почти совпал с 93%, которые дал бы недоступный на практике выбор лучшей записи с заранее известным ответом.

Проверка охватила Qwen2.5-7B, Phi-4-mini, Llama-3.1-8B и Qwen2.5-14B. Задачи включали рассуждения о графах, логический вывод, перестановку вариантов в тестах и порядка примеров в запросе. Поэтому работа поддерживает вывод для дискретных задач с известными точными преобразованиями, но не устанавливает такую же выгоду для произвольных диалогов или генерации текста.

Когда команде стоит менять схему обработки запросов

Работа меняет планы там, где продукт уже тратит несколько запусков модели на самопроверку, голосование или выбор ответа моделью-оценщиком. Если вход содержит граф, набор независимых условий, варианты ответа, примеры или идентификаторы, часть бюджета стоит перенести с повторного декодирования на преобразования входа. Менять веса модели для этого не требуется: преобразование и обратное сопоставление ответов выполняются до и после вызова API.

Практическая проверка начинается с набора точных преобразований, которые сохраняют смысл и правильный ответ. Затем при одинаковом числе запусков нужно сравнить повторные ответы на одной записи с ответами на разных записях. Если решения часто меняются и голосование повышает точность, переписывание использует бюджет лучше. Если ответы уже устойчивы, оно добавляет расходы без выигрыша.

Симметризация не устраняет общий уклон модели. В опыте с поиском циклов модель систематически выбирала один и тот же неверный класс при разных записях, поэтому голосование усиливало ошибку. Метод исправляет зависимость от представления, а не недостаток знаний или неверное правило рассуждения.

Для свободного текста авторы также пробовали создавать варианты другой LLM, но такие перефразирования иногда меняли структуру задачи или получались почти одинаковыми. Поэтому точные перестановки и переименования остаются предпочтительным вариантом. Генеративное перефразирование имеет смысл только вместе с проверкой, что исходная задача сохранилась и варианты действительно различаются.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу