Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
NormDetect распознаёт машинные веб-тексты после невидимых правок, не жертвуя строгим лимитом ошибок на человеческих публикациях. В препринте Hanshuai Cui, Fanshuai Meng и Zhiqing Tang, который не прошёл рецензирование и содержит замеры самих авторов, детектор достиг полноты 55,5% — на 5 процентных пунктов выше нормализованного Binoculars. Для платформ вывод практический: обучаемый классификатор стоит не ставить вместо проверенного показателя, а добавлять как ограниченную поправку.
Как опора удерживает редкие ошибки
Платформе мало хорошо разделять человеческие и машинные тексты в среднем. При целевой доле ложных срабатываний 0,1% решение определяет край распределения: несколько необычных человеческих публикаций могут нарушить допустимый уровень ошибок.
Binoculars оценивает текст двумя замороженными языковыми моделями. Он сравнивает, насколько одна модель считает наблюдаемые токены вероятными и насколько её ожидания совпадают с распределением второй модели. Такой подход не требует обучать отдельный детектор, но зависит от того, как токенизатор разбил входной текст.
NormDetect сначала нормализует Unicode: заменяет похожие символы из разных алфавитов, приводит типографские знаки к обычной форме и удаляет невидимые служебные символы. После этого пара моделей вычисляет показатель Binoculars и статистики токенов — например, среднюю неожиданность текста и разброс неожиданности между токенами.
На этих статистиках обучают небольшой логистический классификатор отдельно для каждого раздела сайта. Такое разделение учитывает, что рецепты, аннотации и сообщения форумов устроены по-разному: единая граница может хорошо работать на одном типе текста и чаще ошибаться на другом.
Классификатор не заменяет исходную оценку. NormDetect стандартизирует оба выхода и смешивает их так, чтобы показатель Binoculars оставался опорой, а обучаемая часть могла передвинуть только пограничные документы. Вес поправки выбирают на пяти обучающих разбиениях и отбрасывают варианты, которые превышают лимит ошибок на человеческих текстах.
После выбора веса система задаёт один общий порог только по человеческой калибровочной выборке. Поэтому машинные тексты нужны для обучения поправки, но не определяют рабочую долю ложных срабатываний.
Нормализация чинит токены, но не заменяет классификатор
Невидимые правки оказались отдельным источником ошибок. Подмена букв похожими символами и вставка пробелов нулевой ширины меняли разбиение текста на токены, хотя человек видел ту же фразу. Полнота исходного Binoculars падала с 75,5% до уровня не выше 4,2%.
Нормализация восстанавливала полезный сигнал, но не помогала против перефразирования, замены слов синонимами и других изменений, после которых во входе нечего очищать. Обучаемая поправка находила часть таких документов по статистике вероятностей токенов.
Самостоятельные классификаторы на тех же признаках работали хуже опорной оценки: они неверно упорядочивали редкие человеческие тексты около порога. Смешивание исправило это поведение. Поправка поднимала машинные тексты, которые находились рядом с границей, но не перестраивала всё распределение оценок.
Контрольная граница для человеческих текстов оставалась не выше 1% в каждом разделе сайта. Преимущество также сохранилось на повторно сформированных выборках и оказалось статистически значимым, поэтому результат не сводится к одному удачному разделению данных.
Когда подход меняет планы продукта
Метод проверяли на RAID: набор охватывал восемь типов веб-текста и одиннадцать способов изменить машинную публикацию. Основные замеры провели с парой Falcon-7B, дополнительные — с парами Gemma. Сравнение включало детекторы без дополнительного обучения, обучаемые классификаторы и методы, устойчивые к правкам.
Эти условия соответствуют платформе, которая заранее знает раздел публикации: отзыв, форум, рецепт или аннотация. Для продукта со свободным потоком документов сначала потребуется определить такие группы, собрать для каждой человеческие тексты и проверить порог отдельно. Иначе преимущество специализированных классификаторов может не перенестись в рабочий поток.
Вычислительный план почти не меняется относительно Binoculars. NormDetect использует результаты тех же проходов через две модели, а дополнительная работа сводится к нормализации текста и вычислению небольшого линейного классификатора. Отдельные модели для каждого раздела не нужны — различаются только их компактные надстройки.
Работа меняет архитектурный выбор для систем, где ложная блокировка автора дороже пропущенного машинного текста. Вместо замены базового детектора более сложным классификатором можно сохранить устойчивую оценку как опору, ограничить влияние обучаемой части на проверочных человеческих данных и только затем калибровать общий порог.
Результат относится к скринингу веб-публикаций, а не к универсальному доказательству авторства. Для внедрения важнее не перенести готовый вес смешивания, а воспроизвести процедуру на собственных разделах и человеческих текстах: именно она связывает прирост полноты с допустимым риском для пользователей.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
