Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модель может выбрать правильный ответ целиком и потерять его, когда должна собрать ту же строку по одному символу. Препринт Tianyou Lai, Wentao Yue, Zhiying Deng и Qilei Li не прошёл рецензирование, а все числа получили сами авторы. На лексической задаче модель Jev выбрала верный вариант в 99,5% случаев, но сохранила его при последовательной сборке лишь в 2,1%.
Для проверки создали Choice2Seq. Сначала модель выбирала готовый ответ из кандидатов, затем в независимом запуске строила его по символам, каждый раз учитывая уже полученный префикс. Метрика сохранения правильного ответа (Sequence Composition Rate) показывает, какая доля верно выбранных ответов осталась верной после такой сборки. Она не смешивает потерянные ответы с новыми успехами, поэтому точность двух режимов нельзя случайно уравнять за счёт разных задач.
Разрыв зависит от задачи и способа выдачи. На арифметике Jev правильно выбирала готовый ответ в 97,1% случаев, а после последовательной сборки сохраняла 33,0% этих успехов. StartLux и Qwen тоже теряли верные ответы; у Qwen3.5-27B разрыв сохранился даже тогда, когда модель выдавала символы напрямую, а не выбирала их условные коды.
Ограничение каждого шага символами из доступных кандидатов улучшило сборку. Явное указание позиций помогло точнее копировать строку, причём модель так же аккуратно воспроизводила и ошибочно выбранный ответ. Значит, правильность решения, верность исходному плану и соблюдение формата нужно проверять раздельно.
Основной набор включал 384 примера на каждую область: умножение и поиск английских существительных по определениям WordNet. Проверки охватили Jev, StartLux, Qwen3-8B и Qwen3.5-27B, а также поля состояния диалога. На диалогах Jev в основном сохраняла правильные состояния, тогда как у Qwen точность по ходам снижалась: проблема зависит и от модели, и от интерфейса, а не возникает при любой пошаговой выдаче.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
