Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Межслойные транскодеры научились точнее восстанавливать активации LLM при меньшем числе активных признаков. В препринте Anyuan Zhuo и коллег Cross-Layer TopK использовал на 20% меньше активных латентных признаков, чем JumpReLU, а разреженное декодирование ускорило шаг обучения в 2,9 раза; работа не рецензирована, и числа получили сами авторы. Для команд, которые исследуют внутренние механизмы моделей, это повод заменить одинаковые квоты для слоёв единым бюджетом.
Одинаковая квота не учитывает сложность слоя
Межслойный транскодер (CLT) раскладывает активации большой языковой модели на признаки, которые может интерпретировать человек. Затем он прослеживает, как признаки взаимодействуют между слоями и складываются в вычислительные цепочки. Так исследователи пытаются понять не только ответ модели, но и внутренний путь к нему.
При обучении CLT приходится одновременно сохранять разреженность и точно восстанавливать исходные активации. Чем меньше признаков активно, тем компактнее представление, но слишком жёсткое ограничение ухудшает восстановление.
JumpReLU управляет разреженностью косвенно: добавляет штраф за активные признаки. Обычный TopK действует прямее и оставляет заданное число признаков, но выдаёт каждому слою одинаковую квоту.
Слои решают задачи разной сложности. В работе промежуточные слои оказались труднее остальных, поэтому равная квота распределяет доступную ёмкость не там, где она нужнее. Сложный слой получает столько же активных признаков, сколько слой, активации которого восстановить проще.
Один L0-бюджет распределяется по всей модели
Cross-Layer TopK задаёт один L0-бюджет для модели — общее число латентных признаков, которые могут быть активны для токена во всех слоях. Метод не закрепляет отдельную долю за каждым слоем, а динамически распределяет общий запас во время обучения.
На Qwen3-8B-Base такой подход дал меньшую долю необъяснённой дисперсии, или FVU. Эта метрика показывает, какую часть исходных активаций транскодер не смог восстановить: чем она ниже, тем точнее представление. При этом Cross-Layer TopK задействовал на 20% меньше латентных признаков, чем JumpReLU.
Улучшение сохранилось при поиске вычислительных цепочек. Цепочки получили более высокие оценки замены и полноты — две метрики того, насколько найденная структура воспроизводит и охватывает исходное вычисление модели. Это связывает выигрыш в восстановлении с основной задачей CLT, а не только с промежуточной метрикой обучения.
Фиксированный бюджет на токен также позволил применить разреженное декодирование. Оно не обрабатывает неактивные признаки, сокращает вычисления и передачу данных и ускоряет один шаг обучения в 2,9 раза. Cross-Layer TopK также показал закономерное масштабирование при изменении числа латентных признаков и степени разреженности, хотя абсолютные зависимости в доступном описании не приведены.
Менять стоит устройство CLT, а не базовую модель
Работа не предлагает новый способ обучать или запускать саму Qwen3-8B-Base. Она меняет вспомогательный инструмент, который разбирает внутренние активации модели. Поэтому команды, использующие готовую LLM через API, не получат от Cross-Layer TopK более точных ответов или более дешёвого вывода.
Для разработки собственных инструментов механистической интерпретируемости следствие прямое: бюджет разреженности стоит задавать на всю модель, а не копировать одну квоту во все слои. Архитектура обучения при этом должна допускать динамическое распределение признаков и разреженное декодирование.
Проверка охватывает Qwen3-8B-Base и сравнение с JumpReLU и вариантами TopK; поскольку материал подготовлен по абстракту, а не по полному тексту, из него нельзя восстановить правило динамического распределения и полный протокол эксперимента. Поэтому менять производственный конвейер только по этим результатам рано, но подход можно проверить отдельно на собственных активациях и слоях.
Для первого эксперимента не обязательно обучать CLT с нуля: опубликованы готовые веса Cross-Layer TopK. Практический критерий проверки — удастся ли на целевой модели снизить FVU при том же общем бюджете признаков, а затем сохранить выигрыш при построении вычислительных цепочек.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
