Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Диффузионную языковую модель научили лучше сохранять удачные промежуточные ответы при жёстком лимите вычислений. В препринте Hao Wu, Sipeng Chen, Jingwen Fu и Yuwang Wang, который не прошёл рецензирование, все числа получены самими авторами: при одной восьмой полного бюджета средняя точность выросла на 7,44 процентного пункта. Подход не требует обучения или дополнительных проходов модели, поэтому его можно проверять как изменение декодера, а не как замену модели.
Как CaRR откладывает сомнительную замену токена
Диффузионная языковая модель меняет несколько токенов параллельно, а не добавляет их слева направо. В исследовании использовали ME-DLM: модель сначала создаёт полный черновик, затем одновременно заменяет, вставляет и удаляет токены.
Параллельное редактирование создаёт проблему. Если модель решила заменить токен, она выбирает новый вариант по контексту до применения остальных правок. Соседние токены в тот же момент тоже могут измениться, но предложенная замена этого ещё не учитывает.
Первый модуль CaRR, Token Commitment Remasking, не принимает такую замену сразу. Если модель с вероятностью ниже 0,30 поддерживает старый токен, модуль может поставить на его место маску. На следующем запланированном проходе модель заполняет её заново, уже видя обновлённое окружение.
Правило действует только на обычные замены. Оно не вмешивается рядом со вставками и удалениями, не маскирует один токен повторно и не запускается на последнем шаге, когда исправить маску уже некогда. За один шаг модуль затрагивает не более 25% доступных позиций.
Отложенное заполнение не добавляет новый запуск основной модели. CaRR использует следующий проход, который уже входил в расписание ME-DLM. Это отличает метод от повторной генерации или отдельной проверки ответа ещё одной LLM.
Почему финальный ответ выбирают из всей траектории
Второй модуль, Submission Commitment Recovery, работает после редактирования. Он сначала проверяет последний ответ и сохраняет его, если тот соответствует правилам задачи. Если ответ повреждён, модуль ищет подходящий вариант сначала внутри финального текста, а затем в сохранённых промежуточных состояниях.
Для кода CaRR проверяет, разбирается ли Python-программа в синтаксическое дерево и сохранила ли требуемый внешний интерфейс. Если финальная правка сломала программу, система может вернуть ближайшую более раннюю версию, которая проходит эти структурные проверки. Они не доказывают функциональную правильность, но отсеивают незавершённый и синтаксически неверный код.
Для математики модуль извлекает явные ответы, приводит эквивалентные записи к сопоставимому виду и проверяет, поддерживает ли вариант история редактирования. Так модель не обязана считать последний текст единственным источником ответа, если устойчивый результат уже появлялся раньше.
CaRR проверяли на одном замороженном редактируемом checkpoint ME-DLM. В набор вошли задачи на Python из HumanEval, HumanEval+, MBPP и MBPP+, а также математические GSM8K и MATH-500. Сравнивали штатное декодирование, оба модуля по отдельности, их сочетание и контрольные варианты при нескольких бюджетах проходов.
В самом жёстком режиме один только модуль отложенной замены прибавил 3,94 процентного пункта, тогда как простой запрет тех же замен дал не более 0,35 пункта. Значит, результат объясняет не блокировка правки сама по себе, а повторный выбор токена после изменения контекста. Заполненный токен отличался от первоначально предложенной замены в 19,1% вмешательств.
История тоже оказалась полезной, а не декоративной: 14 из 25 исправленных программ удалось вернуть именно из более ранних состояний. Оба модуля улучшали совокупную точность по отдельности, но их сочетание давало лучший результат при каждом проверенном бюджете.
Когда работа меняет план разработки
CaRR стоит учитывать командам, которые уже экспериментируют с ME-DLM или другой редактируемой диффузионной моделью и ограничивают число проходов. Вместо обучения нового checkpoint можно сначала изменить правила декодирования: отложить часть замен, сохранять траекторию и выбирать результат по контракту конкретной задачи.
Главная инженерная зависимость — формализуемый выход. Для Python таким контрактом служат синтаксис и публичный интерфейс, для математики — извлекаемый и сопоставимый ответ. В свободном диалоге или генерации текста без проверяемой структуры восстановление потребует других правил, которых эта работа не испытывала.
Метод также не доказывает, что диффузионная модель в целом быстрее авторегрессионной. Эксперимент фиксирует число проходов внутри одной архитектуры и показывает, как получить из них больше правильных ответов. Поэтому CaRR меняет план оптимизации декодера, но не заменяет замеры задержки, памяти и стоимости на целевом оборудовании.
Практический прототип потребует хранить промежуточные состояния и реализовать детерминированную проверку результата. Если продукт уже умеет валидировать код, запросы или структурированные ответы, этот слой можно встроить без переобучения модели. Для остальных сценариев сначала придётся определить, какой промежуточный результат разрешено считать пригодным к возврату.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



