Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Оценку человеческого вклада в текст с помощью LLM удалось изменить, не меняя ни одного слова самого текста. В препринте Purdue University, который не прошёл рецензирование и содержит замеры самих авторов, один и тот же материал у DeepSeek-V4-Flash получил в среднем 85% или 15% человеческого вклада в зависимости от записанного промпта. Такой показатель нельзя использовать как самостоятельное доказательство авторства.
Проверяемая метрика измеряет, насколько промпт помогает модели предсказать итоговый текст. В промпт добавили восемь случайных идентификаторов вроде PX-7A9-A11 и попросили модель скопировать их. Без промпта такой код почти невозможно угадать, а с промптом — легко, поэтому метрика приписывает ему большой человеческий вклад, хотя для содержания статьи он бесполезен.
В аудите один и тот же дополненный текст оценивали с тремя вариантами контекста: с правильными идентификаторами, без них и с другими кодами того же формата. Когда оценщик видел правильные значения, результат вырастал на 32–51 пункт для каждого проверенного текста. Замена кодов давала лишь часть прибавки: основную долю приносило точное копирование.
Причина заложена в формуле. Метрика сильнее взвешивает фрагменты, которые модель считает неожиданными. Редкие случайные строки получают непропорционально большой вес, если промпт делает их предсказуемыми, независимо от смысла. Вариант оценки без промпта тоже вознаграждал сами необычные строки.
Проверка охватила 2 700 пар «модель — документ»: англоязычные новости оценивали на семи LLM, а научные аннотации arXiv — на трёх из них. Каждая модель оценивала собственные тексты; для каждого материала использовали по одному обычному и одному изменённому варианту. Поэтому величина эффекта может отличаться для других языков, жанров и схем оценки.
Правдоподобие промпта показывает, какую часть текста помогает предсказать контекст, но не устанавливает, кто создал этот контекст. Если продукт должен учитывать человеческий вклад для оплаты, проверки оригинальности или прав на материал, ему нужны записи о процессе создания и свидетельства того, что именно добавил человек.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
