Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Один и тот же по смыслу текст на разных языках может требовать от LLM разного числа токенов. В нерецензированном препринте, где числа получены самим автором, надбавка токенизации для Amharic достигла 6,8 раза даже у самого нового из проверенных коммерческих токенизаторов. Значит, выбор базовой модели влияет не только на качество, но и на расход контекстного окна, вычислений и бюджета при оплате за токены.
Надбавка токенизации показывает, насколько больше токенов нужно для сопоставимого текста на одном языке относительно базового уровня. Дообучение модели обычно не меняет её словарь, поэтому этот расход переходит от базовой модели к производным вместе со знаниями, культурными установками, запомненными данными и лицензией.
Словарь, построенный на португальском языке, снизил надбавку для 11 из 13 проверенных языков Глобального Юга с латинской письменностью по сравнению со всеми глобальными токенизаторами в работе. Для Guarani и Quechua разница составила около 24%. Это делает токенизатор отдельным критерием выбора: близкая по качеству модель может оказаться экономнее на языке продукта ещё до дообучения.
Для оценки цены зависимости от базовой модели предложен аудит из восьми проверок, который можно провести без доступа к весам. Он должен выявлять свойства, унаследованные вместе с моделью, но состав проверок в абстракте не раскрыт. Автор также предлагает сравнивать модели по точности на единицу энергии, соответствию уверенности реальной доле ошибок и риску среди запросов, на которые модель решила ответить, причём отказ от ответа не должен искусственно улучшать метрику.
Замеры охватили 31 язык, семь токенизаторов и тексты 27 статей Всеобщей декларации прав человека; поскольку материал подготовлен по абстракту без полного текста, точную базу расчёта надбавки и методику аудита восстановить нельзя. Такой масштаб позволяет сравнить языки на едином корпусе, но не показывает расход на диалогах, программном коде или документах конкретного продукта.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
