Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковые модели непрерывной диффузии можно научить генерировать текст за меньшее число последовательных прогонов нейросети и лучше сохранять качество. В препринте, который пока не рецензирован и опирается на замеры самих авторов, Paul Le Van Kiem и соавторы показали: Simplex-DMD снизил генеративную перплексию на 49% при 4 прогонах. Команды получили два варианта одной дистилляции: один рассчитан на малую задержку, второй — на более высокое качество при большем вычислительном бюджете.
Вероятности можно пропустить через градиент или превратить в токены
Языковая модель непрерывной диффузии начинает с шума в пространстве векторных представлений и постепенно восстанавливает текст. Позиции последовательности она обновляет параллельно, но каждый этап всё равно требует нового прогона нейросети. Поэтому длинная цепочка устранения шума сохраняет последовательную задержку.
Обе предложенные схемы обучают одного и того же ученика по одной цели: приблизить распределение его текстов к распределению данных. Ученик выдаёт вероятности токенов, результат снова смешивают с шумом, а затем сравнивают с данными на том же уровне шума. Обратная дивергенция Кульбака — Лейблера штрафует ученика за области, где его распределение не совпадает с распределением учителя.
Simplex-DMD использует в качестве токена сам вектор вероятностей. Такой результат остаётся непрерывным, поэтому градиент проходит через него напрямую. Дополнительный денойзер оценивает, в какую сторону нужно сдвинуть зашумлённый результат ученика, чтобы приблизить его к данным.
Reinforce-DMD сначала выбирает из распределения конкретный токен. Дискретный выбор нельзя дифференцировать напрямую, поэтому метод применяет REINFORCE: усиливает или ослабляет вероятность выбранных токенов по оценке их качества. Отдельный дискриминатор оценивает соотношение между распределениями ученика и данных, а средняя оценка других вариантов снижает разброс градиента.
Дискретная схема оказалась требовательнее к стабилизации. Без привязки к предсказаниям учителя Reinforce-DMD схлопывался и переставал выдавать разнообразные токены. Обучение с нуля также приводило к схлопыванию, поэтому учеников инициализировали весами учителя.
Simplex-DMD выигрывает на короткой траектории
Качество измеряли не отдельной метрикой, а границей между точностью и разнообразием. Генеративная перплексия показывает, насколько естественным выглядит созданный текст для внешней языковой модели: чем она ниже, тем лучше. Энтропия частот отдельных токенов показывает разнообразие, поэтому методы сравнивали при одинаковой энтропии, а не в произвольно выбранной точке.
При малом бюджете Simplex-DMD показал лучшую генеративную перплексию среди проверенных диффузионных методов во всём диапазоне сопоставимого разнообразия. Непрерывное представление токенов здесь позволяет получить полезный градиент без шума от дискретной выборки.
На длинной траектории преимущество перешло к Reinforce-DMD. При 128 прогонах он сравнялся с D-MMD, а при 256 получил перплексию 14,9 против 18,6 у D-MMD — снижение на 20% при одинаковой энтропии. Simplex-DMD на максимальном бюджете давал слишком низкое разнообразие, поэтому его не включили в это сравнение.
На этапе генерации для обеих схем лучше всего сработало повторное зашумление с максимальной долей свежего гауссовского шума. Более детерминированные переходы и варианты, которые сильнее сохраняли прежний шум, дали худшую границу качества и разнообразия.
Выбор метода зависит от допустимой задержки
Для сервиса с жёстким ограничением на число последовательных вызовов модели практичнее выглядит Simplex-DMD. Он добавляет вспомогательный денойзер во время обучения, но сам ученик быстро строит последовательность за несколько шагов. Это прямой кандидат для сценариев, где диффузионная модель нужна из-за параллельного обновления токенов, а длинная цепочка устраняет преимущество по задержке.
Reinforce-DMD подходит, если система может позволить более длинную генерацию ради качества. Его обучение сложнее: нужны дискретная выборка, дискриминатор, снижение разброса градиента и обязательная привязка к учителю. Зато он сохраняет разнообразие на длинной траектории лучше непрерывной релаксации.
Проверка охватывает одного учителя LangFlow на 170 млн параметров, последовательности длиной 1024 токена и корпус OpenWebText. Методы сравнивали с несколькими диффузионными моделями и дистилляциями, а GPT-2 и OPT использовали как авторегрессионные ориентиры. Это академический масштаб, поэтому работа надёжнее обосновывает выбор схемы внутри уже принятого диффузионного стека, чем переход на такой стек для крупного продукта.
Число прогонов сети само по себе не определяет стоимость сервинга: работа оценивает качество по текстовым метрикам, а не задержку и расход GPU. Перед изменением архитектуры команде всё равно понадобится замер на своей длине контекста, оборудовании и целевой нагрузке.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
