Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ссылки между веб-страницами научились использовать для классификации без готовой разметки, даже когда соседние страницы относятся к разным категориям. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, ZeroPolar-T достигла точности 73,99% — на 6,01 процентного пункта выше LLM-BP. Метод позволяет учитывать структуру сайта, не предполагая заранее, что связанные страницы похожи.
ZeroPolar рассматривает сайт как граф, где страницы служат узлами, а ссылки — рёбрами. Система получает черновые категории двумя способами: просит LLM классифицировать текст и сравнивает представление страницы с прототипами категорий. Затем она проверяет, насколько часто категории совпадают на концах ссылок сверх случайно ожидаемой доли.
Эта величина задаёт структурную полярность. При высоком совпадении система сдвигает прогноз страницы к категориям соседей, при низком — от них. Например, на университетском сайте четыре страницы курсов ссылаются на страницу профессора: обычное распространение меток превращает её в курс, а отрицательная полярность сохраняет верную категорию. Для выбора направления не нужны истинные метки или дополнительные обращения к LLM.
ZeroPolar работает без обучения и подходит, когда LLM разметила только часть страниц. Если метки есть минимум у половины страниц, ZeroPolar-T сначала обучает лёгкий текстовый классификатор, а затем применяет тот же шаг с выбранным направлением. При метках на 5% страниц базовый вариант опередил графовую нейросеть на 10,80 процентного пункта, но дополнительно использовал по двадцать LLM-меток для построения каждого прототипа категории.
Основное сравнение охватывает одиннадцать графов: научные публикации, товары, спортивные страницы и университетские сайты. Система сравнивалась с восемнадцатью подходами при разных языковых моделях и кодировщиках текста. Результат относится к классификации целых графов с общей семантикой ссылок: для смешанных разделов или разных типов рёбер может потребоваться отдельная оценка полярности.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
