Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Часть подготовки ответа LLM удалось перенести на смартфон так, чтобы сервер проверял сразу несколько предложенных продолжений и тратил меньше ресурсов. В нерецензированном препринте Samsung Research, где числа получили сами авторы, HyCo сократил время серверного GPU на выходной токен на 38,6% в Spec-Bench. Такая схема позволяет снизить вычислительную нагрузку без четырёх последовательных запусков малой модели на устройстве.
При спекулятивном декодировании малая модель заранее предлагает токены, а большая проверяет несколько вариантов за один проход. HyCo делит эту работу между двумя механизмами на мобильном нейропроцессоре: штатная головка предсказания нескольких токенов строит длинную ветвь, а малая языковая модель за один проход добавляет альтернативы. Сервер передаёт устройству скрытое состояние и записи кеша, необходимые головке, вместо того чтобы самому последовательно запускать её.
Оба черновых механизма уместили на устройстве за счёт квантования, сокращённого словаря и окна в 1024 токена. По сравнению с вариантом, где черновик строит только малая модель, HyCo выдавал ответ в 1,9 раза быстрее. Метод также может ослабить правило проверки: сервер принимает не только выбранный им токен, но и достаточно вероятные альтернативы. Это дополнительно экономит вычисления, однако меняет распределение ответов; при строгой проверке экономия сохранилась и составила 27,7% в Spec-Bench.
Систему проверяли с Gemma 4 26B-A4B на сервере и Gemma 4 E2B на Galaxy S26 Ultra, подключённом по LTE/5G. Замеры охватывали Spec-Bench и суммаризацию длинных текстов из ∞Bench Sum, причём сервер обслуживал одного клиента. Это не оценка денежной стоимости или пропускной способности под нагрузкой. Для внедрения нужен доступ к штатной головке большой модели, её промежуточным состояниям и кешу ключей и значений, поэтому схема не переносится напрямую на закрытый API, который их не отдаёт.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
