Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Проект vLLM добавил поддержку MiniCPM5-2B в стабильную версию с первого дня релиза модели. Её можно разворачивать через стандартный стек vLLM без экспериментальной ветки и отдельной интеграции для вызова инструментов.
MiniCPM5-2B — плотная модель на 2,6 млрд параметров с исходным контекстом в 131 тысячу токенов. Она использует стандартную архитектуру LlamaForCausalLM, поэтому разработчикам не нужен специальный класс модели.
Один набор весов поддерживает режимы с рассуждением и без него. Команда может переключать поведение модели, не храня и не обслуживая две отдельные версии. Вызовы инструментов разбирает встроенный в vLLM обработчик minicpm5, что упрощает подключение модели к агентам и локальным сервисам.
В посте нет замеров качества и потребления памяти, поэтому по нему нельзя определить, на каком оборудовании модель поместится и как она выглядит на фоне других компактных моделей. Вместе с весами OpenBMB открыла данные для обучения — это упрощает аудит и дальнейшую доработку модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
