Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
При длинных ответах диффузионные LLM расходуют меньше энергии, а при коротких проигрывают авторегрессионным моделям. В препринте AXA AI Research, который не проходил рецензирование и где числа получили сами авторы, преимущество меняет сторону по мере роста ответа: от четырёхкратного проигрыша до выигрыша примерно в 2,5 раза. Значит, архитектуру сервиса можно выбирать с учётом ожидаемой длины генерации, а не назначать одну модель для всех запросов.
Boris Ruf и Marcin Detyniecki сравнили диффузионные LLaDA-8B и Dream-7B с авторегрессионными Llama-3.1-8B-Instruct и Qwen-2.5-7B-Instruct. Все модели запускали на одной NVIDIA A100 с одинаковой короткой инструкцией, а энергопотребление GPU измеряли через NVML и делили на число сгенерированных токенов.
На ответе длиной 10 токенов авторегрессионные модели расходовали примерно вчетверо меньше энергии. Около 128 токенов результаты сблизились: Dream-7B уже потребляла 4,45 джоуля на токен против 5,07 у Llama с включённым KV-cache. На 1024 токенах Dream-7B снизила расход до 2,01 джоуля, тогда как Llama требовалось 5,26.
KV-cache сохраняет рассчитанные ключи и значения внимания, чтобы авторегрессионная модель не обрабатывала прежний контекст заново при каждом следующем токене. На длинном ответе эта оптимизация сократила расход Llama на 71%, но не закрыла разрыв с диффузионными моделями. На коротком ответе эффект почти исчезал, поскольку кэш не успевал окупить себя.
Проверка охватывает один запрос, одну видеокарту, три длины ответа и стандартную реализацию HuggingFace Transformers. Работа измеряет энергию и задержку, но не сопоставляет качество полученных ответов, поэтому результат пока обосновывает выбор схемы выполнения, а не замену модели в продукте.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
