Журнал · Rit.work

NLS depth покажет до обучения, где модель скрывает рассуждения

Новая метрика оценивает, сколько последовательных вычислений модель проводит вне читаемой цепочки рассуждений, ещё до её обучения.

Rit.work
Студия разработки
17 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Архитектуры ИИ теперь можно до обучения сравнивать по тому, сколько последовательных вычислений модель способна провести вне читаемой цепочки рассуждений. Команда с участием Redwood Research предложила метрику NLS depth; в препринте, который не прошёл рецензирование, замеры выполнили сами авторы: среди открытых моделей показатель не превышает 17 000. Метрика помогает заранее заметить архитектурный сдвиг, после которого надзор через текстовые рассуждения может стать слабее.

NLS depth измеряет самый длинный путь вычислений, который не проходит через понятное человеку представление. Таким представлением считаются текст, код и другие форматы, если модель изначально училась выдавать их как осмысленные данные, набор возможных выходов не расширяли, а сами выходы не переопределяли как скрытые сигналы.

Показатель можно рассчитать по архитектуре, способу обучения и конфигурации запуска. Обычное дообучение, подсказки, дистилляция и обучение с подкреплением его не меняют. Это позволяет сравнивать проекты до дорогого запуска обучения, но одновременно не даёт оценить, насколько читаемой цепочка рассуждений останется после такого дообучения.

У стандартных трансформеров NLS depth в основном растёт вместе с числом слоёв и увеличивался медленно. Архитектуры, которые многократно передают скрытое состояние вместо текста, способны увеличить его гораздо сильнее. Поэтому число слоёв остаётся приемлемым ориентиром для знакомых трансформеров, но хуже подходит для рекуррентных и других нестандартных схем.

Метрику проверили на открытых моделях, разобрали существующие и предложенные архитектуры и отдельно рассчитали границу для Gemma3-1B. Есть исключения: Kimi-K3 получает больше глубины на слой из-за Gated DeltaNets, а высокий результат DeepSeek-V4-Pro авторы считают изъяном определения, потому что его создают последовательные вычисления с малыми затратами. NLS depth поэтому не заменяет прямую проверку читаемости рассуждений, а дополняет её архитектурным индикатором, который доступен ещё до обучения.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу