Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Узкое дообучение LLM можно вести так, чтобы модель осваивала целевую задачу и меньше теряла общие навыки. В препринте Nanyang Technological University и The Chinese University of Hong Kong, который не прошёл рецензирование, а числа в нём получили сами авторы, AEGIS обошёл методы шести классов одновременно на целевых и общих задачах. Для продуктовой команды это вариант заменить функцию потерь, не перестраивая всю процедуру дообучения.
Почему узкие данные повреждают несвязанные навыки
Стандартное контролируемое дообучение учит модель отвечать на примерах из целевой области. При этом она может хуже решать задачи, освоенные во время предварительного обучения: рассуждать, понимать обычный текст или писать код вне новой специализации.
Работа объясняет этот эффект через интерференцию признаков. Внутреннее пространство модели имеет ограниченную размерность, поэтому множество смысловых признаков делит одни и те же направления. Во время предварительного обучения признаки активируются разреженно и редко мешают друг другу, а модель размещает их почти ортогонально.
В узком наборе данных одни и те же признаки часто встречаются вместе. Оптимизатору становится выгодно сблизить их направления: это упрощает целевую задачу, но усиливает взаимное влияние на других данных. Когда позже активируется старый признак, связанное с ним направление смещает внутреннее представление модели.
На выходе каждому токену соответствует область внутреннего пространства. Границы между областями задают, какой токен получит наибольшую оценку. Интерференция может перенести представление через такую границу, после чего вместо прежнего правильного токена побеждает конкурент.
Отсюда следует ограничение обычной перекрёстной энтропии. Она учит повышать вероятность правильного ответа на целевом примере, но не отделяет эту адаптацию от сдвига направлений, которые нужны общим навыкам. В рамках предложенной теории полностью компенсировать проблему можно только широкими данными, похожими по разнообразию на предварительное обучение.
Как AEGIS удерживает границы между токенами
AEGIS использует исходную модель как геометрический ориентир. Для каждой позиции метод отслеживает запас между правильным токеном и конкурирующими токенами, а затем штрафует сдвиги активаций, которые разрушают этот запас. Ограничение действует сразу вдоль множества направлений, а не только на итоговое распределение вероятностей.
Целевая задача при этом остаётся в функции потерь. AEGIS не замораживает модель и не требует заранее разделить параметры на «общие» и «специализированные». Он пытается разрешить полезный сдвиг там, где тот помогает новой задаче, и подавить его там, где активация приблизится к чужой границе решения.
Метод проверили на трёх семействах — Mistral, Qwen и Gemma — и 14 задачах: понимании языка, арифметических и логических рассуждениях, генерации кода. AEGIS сравнивали со стандартным дообучением и представителями разных подходов к сохранению способностей, включая смешивание данных, ограничение параметров и ортогонализацию градиентов.
AEGIS показал лучший совместный результат на целевых и общих задачах. В отдельном анализе на RTE, GSM8K и CodeAlpaca он сократил число новых пересечений границ токенов на 26–35% относительно среднего результата базовых методов. При этом общее число пересечений не стало минимальным: метод подавлял именно новые ошибки, возникшие после адаптации.
Вычислительные затраты составили примерно 1,27 от стандартного дообучения. Предварительные расчёты можно повторно использовать для разных целевых задач, если сохраняются исходная модель и опорный набор данных.
Меняет ли работа планы команд
AEGIS имеет смысл включить в план экспериментов, если команда дообучает базовую модель на узком корпусе, но продукт продолжает полагаться на её общие навыки. Типичные случаи — специализированный помощник, который должен не только знать предметную область, но и сохранять рассуждение, работу с инструкциями и генерацию кода.
Это не архитектурная миграция: меняются функция потерь и подготовка опорных данных. Однако реализация требует доступа к внутренним активациям, выходному слою и исходной версии модели. При адаптации через закрытый API применить AEGIS напрямую не получится, поскольку ограничение должно работать во время обучения.
Практический следующий шаг — поставить AEGIS отдельной веткой рядом со стандартным SFT и измерять две группы показателей: качество целевого сценария и регрессию общих навыков. Сравнивать только целевую проверочную выборку недостаточно: именно на ней обычное дообучение может выглядеть успешным, пока несвязанные возможности уже ухудшились.
Теоретическая часть опирается на линейное представление признаков, их наложение и приближение связи между параметрами и активациями. Эксперименты охватывают несколько семейств и типов задач, но вывод о механизме остаётся привязан к этим предпосылкам. Поэтому работа меняет план пилота, а не даёт оснований сразу заменить устойчивую производственную схему.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
