Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модель на разнородном корпусе сначала учится подстраиваться под текущий контекст и лишь затем запоминает устойчивую структуру обучающих данных. В препринте Simplex и Astera Institute, который не проходил рецензирование и содержит полученные авторами числа, специализация начиналась, когда число обучающих токенов становилось сопоставимо с числом параметров процесса, породившего данные. Увеличение корпуса может не просто снизить ошибку, а сменить способ, которым модель отвечает на новые задачи.
В предложенной модели документ выбирает одну из конечного набора скрытых тем, а все его токены независимо следуют распределению этой темы. Здесь возможны два решения. Контекстное оценивает неизвестную тему прямо по частотам токенов в документе; специализированное распознаёт одну из тем корпуса и хранит распределения всех таких тем.
Первое решение проще выучить: его сложность зависит от размера словаря, но не от числа тем. Для второго корпус должен содержать примерно по одному токену на каждый параметр матрицы тем: порог масштабируется как NT≈DK, где N — число документов, T — их длина, D — число тем, K — размер словаря. После этого порога ошибка на знакомых темах продолжает падать, а на новой теме растёт.
Однослойные трансформеры воспроизвели оба режима при разных размерах словаря, числе тем, длине последовательности и объёме корпуса. После пересчёта оси в токены на параметр кривые специализации совпали и убывали как обратная величина, а переход к обучению по контексту не зависел от числа тем. Теоретические кривые сравнивали с экспериментом без подгонки коэффициентов; каждую точку усредняли по четырём запускам.
Проверяли синтетическую смесь тем и небольшие однослойные трансформеры; внутри темы токены были независимы, тогда как язык устроен сложнее. Практический вывод состоит не в готовом пороге для LLM, а в схеме оценки: при наращивании предобучения стоит отдельно измерять качество на структурах из корпуса и на новых структурах. Одна сводная ошибка может скрыть момент, когда специализация улучшает первый режим и ухудшает второй.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
