Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Лидерборд по поиску галлюцинаций — убедительных, но неверных утверждений — в бенгальских ответах оказался нестабилен: вторая проверка сменила бы победителя. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, 24 из 25 команд ухудшили результат в среднем на 17,6 процентного пункта. Значит, одной публичной фазы недостаточно, чтобы выбрать систему для продукта.
Alikbachan состоит из двух независимо собранных наборов. Первый включает 2 516 коротких вопросов из экзаменационных материалов, газет и энциклопедии, а второй — 5 000 примеров, распределённых по заранее заданным квотам. Каждый пример размечен по культурной близости, типу задачи и виду галлюцинации, поэтому итоговый балл можно разложить и увидеть конкретный источник ошибок.
Основной метрикой стала макроусреднённая F-мера: она отдельно оценивает верные ответы и галлюцинации, а затем даёт классам одинаковый вес. Рейтинг первой фазы слабо предсказывал места во второй. При этом модели-оценщики, которым не давали примеров в запросе, улучшили результат, тогда как почти все команды потеряли баллы. Такое расхождение указывает, что часть конкурсных решений приспособилась к составу первой выборки, а не освоила задачу целиком.
Разбивка по видам ошибок показала то, что скрывает общий балл. И конкурсные системы, и модели-оценщики часто пропускали ответы, где модель не выдумывала факт, а опускала важную часть исходного текста. Независимая проверка разметки отдельной командой также выявила случаи, когда ошибку модели можно спутать с дефектом самого задания: потерянным фрагментом, неоднозначной формулировкой или устаревшим источником.
Проверка охватывает бенгальский язык: первая часть сосредоточена на коротких ответах, а вторая добавляет работу с контекстом, пересказ, перевод и провокационные запросы. Практический вывод относится прежде всего к устройству оценки: тест для детектора галлюцинаций стоит делить по типам задач и ошибок, а финальное решение принимать на независимо собранной закрытой выборке.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



