Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ограничение справедливости может ухудшить уже почти справедливую модель, хотя чаще помогает при сильном исходном перекосе. В нерецензированном препринте, где числа получил сам автор Nithin Raghava Ramachandra Narla, постобработка сократила разрыв в 9 из 14 случаев с высоким перекосом и увеличила его в 3 из 4 почти справедливых. Поэтому применять такое ограничение ко всем моделям по одному правилу рискованно.
Автор представил FAPE — схему аудита моделей в рабочей среде — и с её помощью проверил одну постобработку, Fairlearn ThresholdOptimizer. Она меняет пороги принятия решения после обучения модели. Результаты оценивали по тому, насколько часто разные демографические группы получают положительное решение и насколько близки доли ошибок между группами; где было возможно, также учитывали соотношение результатов групп и потерю точности.
Проверка охватила восемь областей: уголовное правосудие, прогноз дохода, поступление на юридические программы, кредитование, сельскохозяйственные займы, здравоохранение, образование и корпус из нескольких предметных областей. Границы эксперимента видны лишь в общих чертах, поскольку заметка опирается на абстракт, а методика и состав моделей из него полностью не восстанавливаются.
Пять случаев, где ограничение не помогло при сильном исходном перекосе, изменили результат после одной из двух проверок: введения минимального размера демографической группы или настройки порогов на отложенных данных. Это показывает, что вывод зависит не только от модели, но и от того, как собраны группы и на каких данных подбирают пороги.
Монитор накопленной суммы CUSUM дополнительно проверили на смоделированном сдвиге данных. Он отличил модели, которые изначально не достигли принятого порога паритета 0,1, от моделей, которые сначала прошли проверку, а затем отклонились от него. Для рабочего контура отсюда следует более надёжная схема: сначала учитывать исходный перекос, затем проверять настройку порогов на отдельных данных и продолжать аудит после запуска и переобучения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
