Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научились дообучать на небольшом наборе примеров так, чтобы она реже забывала редкие закономерности из предварительного обучения. Ambient SFT снизил перплексию на отдельных доменах максимум на 26,7% относительно лучшего способа сравнения. Хотя препринт не рецензирован и все числа получили сами авторы, метод даёт командам повод пересмотреть обучение на малых специализированных наборах: дополнительные данные частично заменяет исходная версия самой модели.
Высокая температура сохраняет структуру старых прогнозов
Обычное дообучение с учителем (SFT) усиливает вероятность правильного следующего токена из нового набора. Когда примеров мало, модель быстро подстраивается под их темы и стиль, но теряет различия между менее вероятными продолжениями. Так исчезает «хвост» распределения: редкие формулировки, знания и варианты ответа, которые почти не представлены в новом наборе.
Ambient SFT начинает с двух копий предварительно обученной модели. Одна копия остаётся замороженной и служит учителем, вторую обновляют как ученика. На тех же примерах ученик одновременно учится предсказывать наблюдаемый токен и получает штраф, если его распределение вероятностей слишком сильно отличается от распределения учителя.
Ключевую роль играет температура. Она сглаживает распределение: самые вероятные токены теряют часть веса, а слабые альтернативы становятся заметнее. Метод сравнивает учителя и ученика после такого сглаживания, поэтому сохраняет общую структуру старых прогнозов, но не требует буквально повторять ответы исходной модели.
При температуре, равной 1, получается обычная передача знаний от учителя: привязка слишком жёсткая и мешает ученику освоить новый домен. При неограниченном росте температуры штраф исчезает, и обучение возвращается к стандартному SFT. Промежуточное значение задаёт компромисс между новым набором и знаниями исходной модели.
Теоретическая часть объясняет этот эффект через сближение распределений при повышении температуры. Даже если исходная модель хуже целевой на конкретной задаче, после сглаживания расхождение между ними сокращается. При этом конечная температура сохраняет достаточно информации о соотношении вероятностей, чтобы учитель мог поддерживать направления, по которым малый набор почти не даёт сигнала.
Метод выиграл на доменах, инструкциях и рассуждениях
В адаптации к пяти целевым доменам Ambient SFT сравнивали с обычным дообучением, обучением только на целевых данных и смесью новых данных с материалами предварительного обучения. Перплексия, то есть мера неуверенности модели при продолжении текста, оказалась ниже во всех доменах; максимальный разрыв с лучшим конкурентом составил 26,7%.
При обучении следовать инструкциям средний относительный выигрыш над стандартным SFT составил от 8,0% до 20,3% в зависимости от режима. На задачах рассуждения метод обошёл обычное дообучение в пяти из шести проверок. Наибольшая польза проявлялась там, где целевых данных было особенно мало, что соответствует исходной задаче метода.
Результаты охватывают адаптацию к научным текстам, новостям, отзывам и коду, а также обучение инструкциям и рассуждениям. Эксперименты проводили на моделях разных размеров, вплоть до OLMo-3-7B. Строгое доказательство преимущества относится к упрощённой лог-линейной модели с замороженными признаками, поэтому для полноразмерных LLM основанием остаются именно экспериментальные сравнения.
В план обучения стоит добавить отдельную ветку Ambient SFT
Метод подходит прежде всего проектам, где уже есть подходящая базовая модель, но мало дорогих отраслевых примеров. Ему не нужен исходный корпус предварительного обучения и не нужны ответы, заранее сгенерированные учителем. Замороженная модель получает те же входы, что и ученик, и возвращает распределение вероятностей токенов.
Цена такого сохранения знаний — дополнительный прямой проход через учителя. В типичной конфигурации из работы обучение занимало примерно на 10% больше вычислений при одинаковом числе шагов. После дообучения учитель не участвует в генерации, поэтому метод не добавляет отдельную модель в рабочий контур.
Температуру и долю шагов с учителем придётся подбирать на отложенной части целевого набора. Слишком сильная привязка возвращает поведение исходной модели, а слишком слабая не защищает от переобучения. Поэтому Ambient SFT разумно проверять как параллельную ветку рядом с обычным SFT, сохраняя одинаковые данные, число шагов и способ оценки.
Для команд, ограниченных вычислениями, дополнительный проход может оказаться дороже потенциального выигрыша. Если же узкое место — сбор качественных примеров, работа предлагает практический обмен: немного увеличить стоимость обучения, чтобы извлечь больше пользы из уже имеющейся модели и не размывать специализированный набор смесью старых текстов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



