Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Повтор одной новости заставляет некоторые LLM принимать неподтверждённое утверждение за достоверное. В нерецензированном препринте, где числа получили сами авторы, три одинаковые перепечатки подняли долю ложных утверждений, принятых phi4 за правду, с 21% до 90%. Значит, перед моделью-оценщиком нужно сворачивать копии в один источник, а не просто перечислять публикации.
Практическая схема состоит из двух фильтров. Сначала из статей удаляют повторяющиеся служебные блоки, затем MinHash находит близкие тексты и объединяет их в цепочки — группы вероятных копий. Модель получает по одному сообщению из каждой цепочки; в имитации непрерывного обучения это снизило число принятых ложных утверждений у всех проверенных моделей, а доля пропущенных истинных утверждений выросла в среднем не более чем на 4,2 процентного пункта.
Пересказ другими словами проходит через MinHash, поэтому для него нужен второй сигнал. Фильтр сравнивает имена людей, организаций и мест: если новая статья почти не добавляет сущностей к похожей предыдущей, её считают вероятным пересказом. На смоделированном потоке такой подход сократил долю принятых ложных пересказов с 67% до 20%. Если переписывающая модель выдумывала дополнительные детали, защита работала хуже.
Метод проверяли на 200 тысячах англоязычных статей CC-News, четырёх моделях-оценщиках и контролируемых утверждениях о вымышленных людях. Результаты показывают поведение фильтра и оценщика в симуляции, а не готовую точность проверки реального новостного потока. Независимые издания, которые согласованно распространяют одну ложь без копирования текста, остаются неотличимыми от настоящих подтверждений.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
