Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научили планировать продолжение крупными дискретными концептами, не отказываясь от обычного предсказания следующего токена. В препринте NCP Team, который не прошёл рецензирование и приводит числа самих авторов, NCP-ArchPreview достигла итоговой ошибки OLMo-3-7B, использовав 51,3% полного объёма обучающих токенов. Для команд, которые обучают собственную базовую модель, это повод оценить отдельный концептуальный слой; для пользователей готовых API работа пока не меняет выбор поставщика.
Как модель предсказывает концепт поверх токенов
Обычная авторегрессионная LLM получает последовательность токенов и на каждом шаге предсказывает следующий. Такой подход сохраняет точность на уровне отдельных элементов текста, но не ставит перед моделью отдельную задачу сформировать более крупное смысловое продолжение.
NCP-ArchPreview одновременно решает две задачи. Стандартный контур продолжает предсказывать токены, а Next Concept Prediction учится предсказывать дискретные концепты, каждый из которых охватывает несколько токенов. Это не замена обычной генерации: концепт задаёт направление, после чего модель по-прежнему выпускает текст последовательно.
Словарь концептов модель строит из собственных скрытых представлений. Продуктовое квантование превращает такие представления в комбинации дискретных кодов, а отдельный Concept Module предсказывает будущие коды. Затем представления предсказанных концептов возвращаются на уровень токенов и направляют дальнейшую генерацию.
Оба контура обучаются совместно от начала до конца. Благодаря этому концепты не задаёт человек и не извлекает отдельная внешняя модель: они возникают внутри NCP-ArchPreview как часть общей задачи предобучения.
Архитектуру довели до 8,9 млрд параметров и обучили на корпусе Dolma-3 объёмом 5,73 трлн токенов. Это показывает, что схема работает не только как малый опыт, но границы проверки остаются конкретными: одна архитектура, один обучающий корпус, сравнение с OLMo-3-7B и базовой моделью того же размера. Поскольку материал подготовлен по абстракту, а не по полному тексту, детали контрольных опытов и точный протокол оценки из него не восстановить.
Где концепты сократили обучение и улучшили генерацию
Главный результат относится к предобучению. NCP-ArchPreview достигла финальной ошибки OLMo-3-7B после обработки 51,3% полного объёма обучающих токенов. Ошибка предобучения показывает, насколько хорошо модель предсказывает продолжение текста: чем она ниже, тем лучше.
После полного обучения NCP-ArchPreview обошла OLMo-3-7B на 2,45 пункта по макросреднему результату последующих тестов. Макросреднее даёт каждому тесту одинаковый вес, поэтому один крупный набор не может полностью определить итог. На наборе математических задач GSM8K разница достигла 5,99 пункта.
Контрольные опыты связывают прирост и с самой архитектурой скрытого пространства, и с задачей предсказания концептов. Это существенно для выбора метода: результат нельзя свести только к увеличенному числу параметров или дополнительному модулю без концептуальной цели.
Скрытое пространство пригодилось и при ускорении вывода. Представления концептов добавили в черновую модель DFlash2, которая заранее предлагает фрагмент текста для проверки основной моделью. Средняя длина принятого фрагмента выросла на 4,17% при пренебрежимо малых дополнительных затратах. Показанная экономия токенов при этом относится прежде всего к обучающему корпусу, а не к длине пользовательских ответов.
Когда концептуальный слой меняет план разработки
Для команды, которая предобучает LLM с нуля, работа предлагает конкретную развилку. Вместо простого увеличения корпуса и параметров можно добавить дискретное скрытое пространство, совместить две обучающие цели и проверить, достигает ли модель нужной ошибки раньше. Решение потребует менять архитектуру и процесс обучения, поэтому его разумно сравнивать с обычной моделью того же размера, а не только с меньшим публичным ориентиром.
Вторая область — адаптация к предметной области. Авторы обновляли только модуль векторного квантования размером 17 млн параметров, оставляя остальную модель без изменений. Такой интерфейс может сократить объём обучаемых весов при переносе на юридические, медицинские или корпоративные тексты, но доступный абстракт подтверждает устройство механизма, а не преимущество на конкретной отраслевой задаче.
Третья область — спекулятивное декодирование, где небольшая черновая модель предлагает несколько токенов, а основная проверяет их за один проход. Концептуальные представления стоит испытывать здесь, если задержка вывода уже ограничивает продукт: более длинный принятый фрагмент означает меньше повторных обращений к основной модели.
Для продукта поверх чужого API архитектура не даёт немедленного действия: поставщик скрывает предобучение, внутренние состояния и декодер. Практическое решение появится только тогда, когда концептуальный интерфейс станет доступен в модели, которую команда может обучать, адаптировать или запускать самостоятельно.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
