Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Маленькую языковую модель удалось доучить химии, медицине и работе с инструментами, при этом прежние навыки остались на уровне лучшего метода сравнения. Хотя препринт не рецензирован и числа получили сами авторы, SynthSelf улучшил освоение новых задач на 5,7–16,9 процентного пункта относительно дистилляции с тем же учителем. Для команд с локальными моделями это превращает постоянное дообучение из выбора между новыми и старыми навыками в рабочую инженерную схему.
Почему маленькая модель плохо учит саму себя
Обычное дообучение по размеченным ответам может увести модель от того, как она привыкла строить фразы и рассуждения. Меняется распределение вероятностей, которое модель назначает следующим словам: новые ответы усваиваются, но вместе с ними проседают код, знания или выполнение инструкций.
SDFT пытается избежать этого сдвига. Замороженная копия модели получает учебный пример прямо в запросе, переписывает его в собственном стиле, а обучаемая копия перенимает этот вариант. Такая самодистилляция сохраняет содержание примера, но делает формулировки привычными для исходной модели.
На малом масштабе схема ломается раньше этапа обучения. Компактная модель хуже следует сложной инструкции и слабее использует пример из контекста, поэтому создаёт неточный учебный ответ. В экспериментах с работой через инструменты точность таких самостоятельных переписываний падала до 60%.
Авторы отдельно проверили связь между сдвигом распределения и забыванием. Они дообучали Qwen2.5 на разных наборах, а затем повторили опыт с одним корпусом, меняя только форму целевых ответов. Чем меньше новый текст походил на ответы исходной модели, тем хуже она осваивала предмет и тем сильнее теряла прежние навыки.
Как SynthSelf готовит данные для дообучения
SynthSelf передаёт переписывание чуть более крупной модели из той же семьи. Она получает запрос вместе с правильным примером и пересказывает решение своими словами, сохраняя итоговый ответ и требуемый формат. Родственная модель пишет достаточно похоже на ученика, но лучше справляется с инструкцией.
Дальше работает отбор с отбраковкой. Система извлекает итог из сгенерированного решения, сравнивает его с эталоном и удаляет несовпавшие варианты. Маленькую модель затем дообучают обычным способом на оставшемся статическом наборе.
Это важное отличие от самодистилляции, которая создаёт подсказки прямо во время обучения. Заранее подготовленные ответы можно проверить до того, как ошибки попадут в модель. В опытах удаление неверных примеров помогало как SynthSelf, так и обычной дистилляции.
Самый крупный доступный учитель оказался не лучшим выбором. Модели другой семьи иногда точнее решали исходную задачу, но писали слишком непривычно для ученика. Более компактные версии Qwen2.5 давали ответы, которые исходная модель усваивала лучше.
Схему проверяли на Qwen2.5-Instruct размером от 0,5 до 3 млрд параметров. Новые способности оценивали в четырёх условиях: химии, смеси естественных наук, использовании инструментов и медицине; сохранение прежних — на 14 проверках знаний, кода, математики, здравого смысла и следования инструкциям. SynthSelf лучше остальных осваивал новые задачи и сравнялся с сильнейшими вариантами по сохранению старых.
В медицине SynthSelf не получил заметного преимущества перед обычной дистилляцией с тем же учителем. Наиболее вероятное объяснение внутри работы: модель-учитель уже знала учебные примеры, поэтому их дополнительное переписывание почти ничего не добавило.
Когда схему стоит включить в планы продукта
Работа меняет планы команд, у которых есть линейка совместимых моделей разных размеров. Вместо универсального внешнего учителя можно взять следующую по размеру версию той же семьи, один раз переписать учебный корпус, проверить ответы и затем обучать целевую модель без крупного учителя в основном цикле.
Такой процесс особенно подходит для локальных помощников, моделей с жёстким требованием к задержке, черновых моделей и проверяющих компонентов. Здесь компактность нужна в рабочей среде, но подготовку данных можно вынести на отдельный этап с более тяжёлой моделью.
Выбор родственного учителя даёт не только лучший результат. В опытах он сокращал вычисления на генерацию учебных данных на 62,9–76,9% по сравнению с более крупными моделями другой семьи. Отбраковка также уменьшает корпус для обучения, потому что модель не тратит шаги на сомнительные ответы.
Схема рассчитана на задачи, где итог можно автоматически сопоставить с эталоном. Для свободного текста команде понадобится отдельное правило проверки, иначе ключевое преимущество — удаление неверных переписываний — исчезнет. Кроме того, все основные опыты проведены внутри Qwen2.5, поэтому для другой линейки разумно сначала проверить, действительно ли старшая модель пишет ближе к распределению младшей, чем внешний учитель.
Практический вывод не в том, что более крупная модель всегда лучше обучает маленькую. Учитель должен быть достаточно сильным, чтобы исправить слабость ученика, но достаточно близким, чтобы его ответы не стали для ученика новым чужим языком.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
