Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Маленькую языковую модель научились автоматически подбирать, дообучать и ужимать под конкретную задачу и телефон. В работе University of Washington, которая не прошла рецензирование и приводит числа, полученные самими авторами, итоговые модели на части задач превзошли Claude Sonnet 5 и DeepSeek v4 Flash. Ручной перебор моделей, точности весов и способов запуска можно заменить управляемым поиском, но проверять устройство всё равно придётся.
Поиск меняет и модель, и обучающие данные
Mobile AI Factory получает описание задачи, доступные данные, метрику качества, проверку формата ответа и требования приложения к скорости, памяти и энергии. После этого система выбирает базовую модель, дообучает её и проверяет результат на данных, которых обучение не видело.
Оркестратор на базе Claude Sonnet 5 за один шаг меняет что-то одно: параметры дообучения, набор реальных примеров или синтетические данные от модели-учителя. Если качество падает, фиксированные правила возвращают предыдущую версию. Оркестратор видит только сводные оценки на контрольной выборке, а совпадающие с ней строки удаляются из обучающих данных.
Квантование здесь входит в поиск, а не применяется в самом конце. Оно хранит веса модели с меньшей разрядностью и сокращает расход памяти, но может ухудшить ответы. Поэтому система оценивает уже квантизованную версию, а большую модель с грубыми весами сравнивает с меньшей моделью при более высокой точности.
Поиск идёт от компактных вариантов к крупным. В пул вошли 27 сочетаний моделей семейств SmolLM2, Gemma 3, Qwen3 и Qwen3.5 с разной разрядностью. Если текущая группа перестаёт улучшаться и не достигает целевого качества, система переходит к следующей.
Отдельный профилировщик запускает варианты через llama.cpp и MNN на процессоре и графическом ускорителе телефона. Он измеряет обработку запроса, генерацию ответа, пиковую память и энергию. Профиль строится один раз для модели телефона, после чего его можно использовать в разных задачах.
Управляемый поиск приблизился к полному перебору
На закрытой тестовой выборке специализированные модели обошли обе универсальные модели на пяти задачах и сравнялись с ними ещё на трёх. Максимальный разрыв достиг 0,342 пункта по метрике конкретной задачи. Лучше всего подход сработал там, где ответ должен строго соответствовать заданной структуре, например при извлечении сущностей и вызове функций.
При извлечении биомедицинских сущностей поиск от маленьких моделей к большим отстал от обучения всех вариантов не более чем на 0,03 пункта. При этом он потратил в 19 раз меньше времени GPU. Экономию даёт не более короткое дообучение одного кандидата, а ранний отказ от вариантов, которые не подходят по качеству или ограничениям устройства.
Проверка охватывает десять задач: классификацию, извлечение данных, исправление текста, вызов функций и суммаризацию диалогов. Аппаратную часть проверяли на четырёх Android-телефонах разных поколений. В пуле были только заранее выбранные декодерные модели с дообучением LoRA, а профили снимали на процессорах и графических ускорителях при фиксированной длине запроса и без фоновой нагрузки.
Планы меняет не агент, а обязательный профиль устройства
Выбирать конфигурацию по характеристикам телефона недостаточно. Даже Claude Opus 5.5, получив описание оборудования, моделей и ограничений приложения, выбрал неподходящий вариант в 25% простых и средних случаев и в 60% сложных. Модель ошибалась в оценке рабочей памяти, скорости обработки запроса и выборе между процессором и графическим ускорителем.
Одинаковая модель также требует разных способов запуска на разных телефонах. Backend, который ускоряет обработку запроса на одном флагмане, на другом может оказаться самым медленным. Поэтому таблица характеристик процессора не заменяет замеры через тот же движок и с тем же уровнем квантования, которые будут использоваться в приложении.
Для команды это меняет порядок разработки. Сначала стоит определить измеримую метрику, написать проверку допустимого ответа и задать бюджеты памяти, задержки и энергии. Затем можно профилировать поддерживаемые устройства, исключить неподходящие конфигурации и только после этого тратить GPU на дообучение.
Самой ручной частью остаётся не настройка модели, а формализация задачи. Слабая проверка пропускает испорченные синтетические примеры и делает автоматический поиск бесполезным. Mobile AI Factory сокращает перебор после того, как команда умеет однозначно оценивать результат, но не заменяет проектирование такой оценки.
Подход подходит для функций с узкой и проверяемой задачей: извлечения полей, классификации намерений, разбора команд или подготовки структурированного ответа. Для продукта с несколькими классами телефонов планировать одну модель и одну конфигурацию запуска рискованно: профиль устройства становится таким же входом сборки, как обучающие данные и требования приложения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
