Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Один токенизатор сократил текст одновременно на английском и языках Индии, хотя обычно словарь приходится настраивать в пользу одной группы языков. В нерецензированном препринте Havon AI, где все числа получили сами авторы, Havon v4 использовал на 6,1% меньше токенов для английского, чем токенизатор GPT-4o. Для разработчиков собственных многоязычных моделей это показывает способ уменьшить контекст и число шагов генерации без отдельного словаря для каждого языка.
Токенизатор делит текст на элементы, которые обрабатывает модель. Havon сначала обучили на текстах примерно двух сотен языков и настроили разбиение так, чтобы не отделять диакритические знаки от букв. Затем добавили второй этап: он разрешает одному токену включать несколько слов вместе с пробелами, например частые короткие сочетания.
При одинаковом с GPT-4o словаре из 200 019 токенов Havon v4 потребовал меньше токенов на 161 из 204 языков. Он выиграл на всех 25 языках Индии, сократив их число в медиане на 26%. Сравнение с обычной версией Havon того же размера показало, что именно многословный этап уменьшил английский текст ещё на 14%, а не просто получил преимущество за счёт большего словаря.
Токенизаторы проверяли на формальных текстах FLORES-200 и сравнивали по числу токенов, а не по качеству ответов модели. Havon v4 ещё не использовали для обучения LLM, поэтому меньший текст пока означает только более вместительный контекст и потенциально меньше шагов генерации. Обмен между языками также сохранился: при словаре из 262 144 токенов новая версия уступила исходной на 26 языках, включая Khmer, Burmese и Tibetan, где пробелы не разделяют слова и многословные элементы помогают меньше.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
