Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Shi Fu, Huibo Xu, Qixin Zhang и Dacheng Tao построили контрпримеры к оценке размера выборки через гауссову ширину для распределений с тяжёлыми хвостами — в препринте, который не проходил рецензирование. По расчётам авторов, на одной и той же геометрии гауссовы измерения обеспечивают восстановление при постоянном числе наблюдений с поправкой на требуемую надёжность, а тяжёлохвостое распределение может давать нулевое ограниченное собственное значение вплоть до порядка p / log p наблюдений. Результат важен для команд, которые оценивают объём данных для Lasso и других методов с регуляризацией по геометрической сложности пространства параметров.
Что сделали
Ограниченное собственное значение показывает, остаётся ли матрица измерений невырожденной на направлениях, которые регуляризатор не может исключить. Для гауссовых и субгауссовых данных нужное число наблюдений обычно связывают с гауссовой шириной — мерой эффективного размера множества таких направлений.
Авторы показали, что одного условия малой вероятностной массы (small-ball condition) недостаточно. Оно гарантирует, что каждое фиксированное направление обнаруживается случайной строкой матрицы с ненулевой вероятностью, но не гарантирует одновременного обнаружения всех направлений одной выборкой.
В конструкции направления помещены в узкую сферическую область с постоянной гауссовой шириной, а события их обнаружения кодируют произвольную конечную систему множеств. Если выборка пропускает хотя бы одно множество, соответствующее направление попадает в ядро матрицы. Для явного полигонального конуса авторы получили нулевое ограниченное собственное значение на каждой траектории при числе наблюдений не больше половины размерности. Эффект сохраняется после нормировки ковариации до единичной и при распределениях со всеми конечными моментами.
Что это значит
Для тяжёлохвостых данных гауссовая ширина сама по себе не даёт надёжной оценки требуемой выборки. Нужны дополнительные предположения, связывающие близкие направления, либо контроль одновременного покрытия пороговых событий. В качестве более грубой гарантии при единичной ковариации авторы предлагают оценку через аффинную размерность множества и квадрат радиуса охватывающего шара.
Ограничения. Работа доказывает утверждения на специально построенных распределениях и полигональных конусах; для разделения с единичной ковариацией рассматриваются достаточно большие размерности и масштаб до порядка p / log p. Она не показывает распространённость такого поведения на реальных наборах данных. Проведённое авторами сравнение охватывает гауссово и сконструированное тяжёлохвостое распределения на общей геометрии, но не включает прикладные распределения, конкретные оценки параметров или устойчивые варианты алгоритмов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
