Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Узкие обновления языковых моделей часто меняют решения далеко за пределами задачи, ради которой их обучали. Muhammad Usama и Muhammad Saad Qadir предлагают проверять такие изменения на рабочем трафике: в их нерецензированном препринте все числа получены самими авторами, а у доменных и политических LoRA-обновлений лишь 7–36% изменённых решений остались внутри объявленной области. Для команд это превращает требование «не менять остальное» из ожидания в измеримое условие выпуска.
Область изменений задают до обучения
Разработчик заранее описывает область входных данных, где модели разрешено изменить поведение. Любое изменившееся решение за её пределами считается утечкой. Например, если обновление должно затронуть определённую группу запросов, проверка сравнивает старую и новую модели на запросах вне этой группы.
Обычная оценка регрессий для этого не подходит. Полезное обновление намеренно меняет часть ответов, поэтому общий процент расхождений не показывает, произошли ли изменения там, где их разрешили. Объявленная область отделяет ожидаемые изменения от побочных.
Для оценки не нужны правильные ответы или ручная разметка. Достаточно подать одинаковые запросы старой и новой моделям и посчитать изменившиеся решения вне области. Статистический тест остаётся корректным независимо от того, в какой момент команда остановила сбор наблюдений, а сертификаты отдельных обновлений можно объединять в общую границу накопленного дрейфа.
Проверка охватывает LoRA, полное дообучение, оптимизацию предпочтений, обучение с подкреплением и редактирование знаний на моделях размером от 1,5 до 72 млрд параметров. Всего сравнили 256 обученных вариантов; поскольку этот материал опирается на абстракт, а не полный текст, точную схему тестов, состав трафика и правила выделения областей восстановить нельзя.
Сохранение старых решений снижает утечку
Чем сильнее новая модель отклонялась от текущей на запросах вне объявленной области, тем шире распространялась утечка. Коэффициент ранговой корреляции Спирмена составил 0,94: обновления, которые сильнее меняли распределение ответов вне нужной области, почти всегда меняли и больше отдельных решений.
Испытанные стандартные способы сдерживать обновление не сделали обновления правил сертифицируемыми без заметной потери целевого эффекта. Сработал другой подход: во время обучения новая модель воспроизводила решения прежней модели на неразмеченных запросах, собранных в том же формате, который используется после выпуска.
Такой якорь применили к LoRA, GRPO и полному дообучению с небольшой скоростью обучения. Эти варианты получили статистический сертификат, ограничивающий утечку уровнем 5%; для проверки потребовалось от нескольких сотен до нескольких тысяч неразмеченных запросов. Результат повторился на отложенном трафике и письменных ответах.
Подход работает для выходов, которые можно устойчиво сравнить как решения. В открытом диалоге одно лишь перераспределение запросов по вычислительным пакетам меняло 11–21% ответов, поэтому ни одно обновление не прошло ту же проверку. Здесь тест смешивает эффект обучения с естественной нестабильностью генерации.
Для моделей решений меняется процесс выпуска
Командам, которые используют модель для устойчивых решений, работа предлагает добавить границы обновления в требования до начала обучения. Область нельзя убедительно назначить после просмотра результата: сначала команда фиксирует, где поведение может измениться, затем обучает модель и проверяет остальной трафик.
В контуре выпуска потребуется сохранить прежнюю модель, собрать неразмеченные рабочие запросы в реальном формате и запускать обе версии параллельно. Разметка правильных ответов для оценки утечки не нужна, поэтому проверку можно проводить чаще, чем полноценный набор предметных испытаний. При этом она не заменяет оценку качества внутри объявленной области: сертификат показывает, где произошли изменения, но не доказывает, что они полезны.
Если обычное дообучение выходит за границы, план обучения тоже придётся изменить. Вместо одной только настройки на новую задачу нужно добавить запросы вне области и заставить новую модель сохранять на них решения текущей версии. Это связывает обучение с реальным форматом эксплуатации, а не только с подготовленным набором примеров.
Для открытого чата вывод уже: описанный сертификат пока нельзя считать надёжным критерием выпуска. Если одинаковый процесс генерации сам меняет заметную долю ответов, сначала нужен более устойчивый объект сравнения, чем полный текст ответа. Работа не предлагает готового способа отделить такую вариативность от утечки обновления.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
