Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Регрессию можно восстановить по смещённой выборке, даже если механизм попадания наблюдений в данные восстановить нельзя. В препринте Vikram Kher, Jane H. Lee, Anay Mehrotra и Manolis Zampetakis, который не прошёл рецензирование, все расчёты выполнили сами авторы. Для разработки моделей это меняет привычный порядок работы: отдельная модель отбора нужна не всегда.
Работа рассматривает случай, когда признаки объекта видны всегда, а целевой результат — только после фильтра, который зависит и от признаков, и от самого результата. Например, площадка знает характеристики потенциального участника аукциона, но видит его оценку только после входа в торги. Авторы задали классы допустимых регрессий, фильтров, распределений признаков и шума, а затем вывели необходимое и достаточное условие, при котором целевую функцию можно определить однозначно.
Смысл условия в различимости моделей. Если два допустимых процесса создают одинаковые наблюдаемые данные, но задают разные регрессии, восстановить правильную функцию невозможно при любом объёме выборки. Если все неразличимые процессы сходятся на одной регрессии, её можно определить, даже когда они расходятся в устройстве фильтра отбора. Поэтому схема «сначала оценить фильтр, затем исправить регрессию» оказывается избыточной для части задач.
При более строгой версии условия работа даёт гарантии для конечной выборки и алгоритм, вычислительное узкое место которого сводится к одному вызову процедуры оценки плотности. Такая процедура подбирает распределение наблюдаемых данных, близкое к выборке. Это пока теоретическая конструкция, а не готовая библиотека, но она отделяет принципиальную возможность обучения от выбора конкретного оценщика.
Результаты проверены доказательствами на общей модели с аддитивным шумом, где признаки доступны и для отфильтрованных объектов. Условия также разобраны для аукционов с платным входом, выбора профессии в расширенной модели Roy, модели Heckman с зависимыми ошибками и фильтров измерений, зависящих от результата. Перед изменением контура обучения команде придётся описать допустимые классы процессов: без этих предпосылок вывод о ненужности модели отбора не переносится на конкретные данные.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
