Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Разрыв между вероятностями предпочтительного и отвергнутого ответа при настройке LLM развивается по предсказуемой траектории, а шум в метках может остановить его рост. Хотя работа Amazon не прошла рецензирование и все числа получили сами авторы, эксперименты подтвердили главное различие: у DPO разрыв растёт без заданного предела, а у IPO сходится к конечному значению. Это даёт командам способ выбирать метод не только по итоговому бенчмарку, но и по ожидаемому поведению обучения.
Как разрыв превращается в траекторию обучения
Авторы рассматривают логарифмический разрыв (margin) между вероятностями двух ответов: выбранного человеком и отвергнутого. Чем он больше, тем сильнее модель предпочитает выбранный ответ относительно отвергнутого.
Для одной пары ответов обучение можно свести к уравнению, которое описывает изменение этого разрыва во времени. Такое упрощение не воспроизводит всю нейросеть, зато позволяет различать методы по форме траектории: будет ли разрыв расти, остановится ли у устойчивого значения и как на него повлияют ошибочные предпочтения.
У DPO вес обновления остаётся положительным при любом конечном разрыве. Рост постепенно замедляется и становится логарифмическим, но точки остановки у него нет. IPO использует линейный вес: ниже целевого разрыва метод толкает его вверх, а выше — возвращает назад. Поэтому IPO сходится к конечной точке.
Шум в метках меняет DPO качественно. Если часть пар перевёрнута и отвергнутый ответ иногда отмечен как предпочтительный, встречные обновления создают устойчивую точку. У IPO шум лишь сдвигает уже существующую точку, не меняя характер траектории.
Из этого следует конструкция TPO-S. Обычный SimPO, как и DPO, продолжает увеличивать разрыв. Сглаживание меток добавляет небольшой обратный сигнал: после целевого уровня он начинает перевешивать прямой, и обучение возвращает разрыв к устойчивому значению. Положение этой точки можно заранее вычислить из силы сглаживания и температуры метода.
DPO продолжает расти, а сглаживание создаёт точку возврата
Проверка охватила пять семейств моделей и четыре бенчмарка с задачами на математику и следование инструкциям. Во всех проверенных архитектурах DPO сохранял неограниченную форму роста, а IPO выходил на плато. Скорость различалась между моделями, но тип траектории не менялся.
Для TPO-S выбрали сглаживание 0,05 без отдельного подбора под каждую модель. Упрощённая теория предсказывала устойчивый разрыв около 29, тогда как в одном из полномасштабных опытов он достиг 832. Расхождение показывает границу метода: теория предсказывает форму и порядок траекторий, но точное значение требует калибровочного коэффициента для конкретного масштаба обучения.
TPO-S показал лучший средний результат на IFEval среди сравниваемых методов на каждой испытанной модели. При этом работа не заявляет новый рекорд: опыт проверяет, что рассчитанная заранее конечная точка пригодна для обучения и не ухудшает итоговое качество по сравнению с сильными базовыми методами.
Результат также отделяет динамику от качества. Большой разрыв означает, что модель сильнее предпочитает один ответ другому, но не гарантирует, что выросла абсолютная вероятность хорошего ответа. Часть вероятностной массы может перейти к другим, не участвовавшим в паре продолжениям.
Менять метод не обязательно, но траекторию стоит измерять
Работа не даёт основания автоматически заменять DPO на IPO или TPO-S. Основные опыты проводили на моделях масштаба 8–9 млрд параметров с LoRA и Adam, а переход от одной пары ответов к полноценному обучению требует коэффициента, который подбирают после запуска. Поэтому теория пока лучше объясняет режимы обучения, чем предсказывает точный итоговый балл.
Практическое изменение — добавить к оценке качества график разрыва на обучающих и проверочных парах. Если DPO продолжает разгонять его после того, как бенчмарки перестали улучшаться, дополнительные шаги усиливают уверенность модели без подтверждённой пользы. Для IPO ожидается плато, а для SimPO со сглаживанием — возврат к устойчивой области.
Выбор между методами можно связать с наблюдаемым риском. DPO сохраняет замороженную опорную модель, но по мере удаления от неё градиент ослабевает. SimPO не зависит от опорной модели, зато может бесконечно раздвигать вероятности. Сглаживание предлагает промежуточный режим: обучение остаётся без опорной модели, но получает ограничитель разрыва.
Для действующего конвейера разумный первый шаг — не миграция, а параллельный опыт с теми же данными, бюджетом и оценкой качества. Если сглаженный вариант достигает сопоставимого результата и раньше стабилизирует разрыв, теория объясняет, почему такой режим может быть устойчивее. Если итоговые метрики расходятся с траекторией, решение следует принимать по качеству: сам разрыв остаётся диагностикой относительного предпочтения, а не заменой продуктовой оценки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



