Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Замороженную языковую модель научили проходить цепочки ссылок, на которых её обычное вычисление обрывалось через несколько шагов. В нерецензированном препринте Georgia Institute of Technology, где все числа получили сами авторы, точность Qwen3-8B на цепочках из 24 строк выросла с 15,5% до 99%. Результат показывает, что часть недоступной способности модели можно включить небольшим адаптером вместо полного дообучения.
Команда обучила LoRA ранга 8 — компактную добавку к одному раннему слою, которая меняет скрытое состояние каждого токена. Основные веса оставались замороженными, а доля новых параметров у Qwen3-8B составила меньше 0,01%. После более долгого обучения адаптер позволил модели пройти цепочку из 50 строк за один проход.
Без адаптера модель передавала сведения о принадлежности строки к цепочке лишь на несколько следующих строк. LoRA запускал эстафету в средних слоях: каждая строка находила предыдущее присваивание, получала от него сведения о цепочке и передавала их дальше. Когда доступ к родительским строкам блокировали, эффект исчезал. Значит, адаптер не хранит готовое решение, а перенастраивает маршрутизацию информации через уже существующие механизмы внимания.
Короткое исходное вычисление проверили на 13 базовых моделях из семейств Qwen3, Llama, OLMo-3 и Gemma-3, а также на моделях с повторным выполнением слоёв. Основные длинные результаты получены на синтетических программах с двумя цепочками, где присваивания сгруппированы по глубине; при более сложном перемешивании строк точность снижалась. В Ouro-1.4B повторные проходы вместе с адаптером увеличили достижимую длину как минимум до 160 строк. Отдельные адаптеры также улучшили ответы на MuSiQue, но перенос результата на другие задачи и рабочие данные потребует самостоятельной проверки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
