Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
GauntletScore проверяет, подтверждает ли исходный документ фразы из сгенерированного текста, и сохраняет основания каждого решения. В нерецензированном препринте Genstrata приводит собственные замеры: система получила 79,51 балла против 79,45 у лучшего опубликованного проверяющего. Разница находится в пределах погрешности, поэтому результат означает паритет, а не новое первое место.
Система разбивает утверждение на части и задаёт независимым моделям-читателям закрытые вопросы. Каждый ответ вместе с фрагментом источника попадает в журнал доказательств, а фиксированное байесовское правило объединяет показания; противоречие засчитывается, только если его нашли две модели. По журналу можно восстановить, почему система приняла решение, тогда как одиночная модель обычно возвращает лишь итоговую оценку.
Сбалансированная точность здесь означает среднее между долей сохранённых верных утверждений и долей найденных ошибок. Самый заметный результат получился на AggreFact-CNN, где полные новостные статьи сверяют с многофразовыми пересказами: GauntletScore опередила следующий результат на 6,35 пункта. Такой формат ближе к проверке длинных отчётов и документов, где одна неверная цифра может затеряться среди правильных фраз.
Проверку провели на 29 320 утверждениях из 11 наборов LLM-AggreFact. Правила и пороги настроили на отладочной части, затем систему зафиксировали и один раз запустили на тестовой. В опыте использовали только предоставленный исходный текст: поиск в интернете, сопоставление нескольких источников и проверку причинных связей отключили. Опубликованные ответы и скрипт позволяют пересчитать итоговый балл, но код системы, инструкции моделям и их точные версии остались закрытыми, поэтому независимо повторить весь прогон нельзя.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



