Графовая модель не улучшила поиск сетевых атак без утечек

Графовая нейросеть не оказалась точнее обычной модели, которая обрабатывает сетевые потоки по отдельности. В препринте Zahid Iqbal, который не прошёл рецензирование и где числа рассчитаны самим автором, её результат совпал с многослойным перцептроном в пределах погрешности. Для выбора архитектуры это сдвигает аргумент в пользу графов: не точность на чистых данных, а устойчивость к искажённым признакам.

Из наборов CICIDS2017 и NF-UNSW-NB15-v2 удалили точные дубликаты до разделения данных; во втором случае очистка убрала 69% потоков. Граф для обучения строили только по обучающей части, а проверочные и тестовые потоки при прогнозе связывали лишь с ней. Так тестовые объекты не влияли на представления, которые модель учила во время тренировки.

Остаточную графовую свёрточную сеть сравнили с многослойным перцептроном, голосованием ближайших соседей, другими графовыми сетями, XGBoost, LightGBM и случайным лесом. Каждый из трёх запусков заново делил данные. На CICIDS2017 древесные ансамбли опередили графовую модель на 1,48–1,57 пункта по F1 — показателю, который учитывает и пропущенные атаки, и ложные тревоги.

Разрыв сильнее проявился при классификации отдельных типов атак. F1 с равным весом каждого класса достиг 93,08% у древесного ансамбля против 64,51% у графовой сети: та часто принимала безопасные потоки за редкие атаки. Изменение числа соседей, глубины сети, остаточной связи и включение тестовых признаков в общий граф не дало эффекта за пределами разброса между запусками.

Графовая модель выиграла в испытании с шумом. Когда к стандартизированным признакам добавили случайное искажение, она сохранила F1 на уровне 96,16%, тогда как XGBoost упал до 0,67%. Поэтому для чистых табличных признаков разумной отправной точкой остаются древесные ансамбли, а графовую архитектуру стоит проверять отдельно там, где телеметрия заметно меняется или портится.

Источники

• Leakage-free evaluation of residual graph convolutional networks for network intrusion detection