Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Один и тот же классификатор может чаще выбирать буквальный смысл идиомы и увереннее ошибаться только из-за языка задания. В препринте Adib Sakhawat и Syed Rifat Raiyan, который не прошёл рецензирование и приводит числа из замеров самих авторов, три модели попадались на буквальную приманку в бенгальском языке в 1,9–6,4 раза чаще, чем в английском. Поэтому порог уверенности, который управляет маршрутизацией или блокировкой, нельзя переносить между языками без отдельной проверки.
Работа рассматривает модели принятия решений: система передаёт им вопрос и готовые варианты, а модель возвращает вероятность каждого варианта без текстового ответа. В список значений бенгальской идиомы добавляли её экспертное буквальное толкование и проверяли, выберет ли модель его вместо переносного смысла.
Буквальная приманка изменила расстановку моделей. Lod-lille превосходила Laya-ml на обычных отвлекающих вариантах, но после добавления буквального толкования ошибалась чаще. Значит, общая точность не показывает, насколько классификатор зависит от совпадения слов: более точная модель не обязательно лучше распознаёт переносный смысл.
Калибровка — соответствие заявленной уверенности реальной доле верных ответов — ухудшилась у всех трёх моделей. У двух открытых моделей уверенность стала обратным сигналом: отбор ответов по её порогу работал хуже случайного отбора. Когда варианты заменили на лишённые смысла обозначения и точность упала до случайного выбора, лучше всего откалиброванная модель всё равно сообщала среднюю уверенность 82%.
Языковой срез провели на 3265 одинаковых заданиях для Laya-ml, Lod-lille и закрытой Jev-1.13, каждое предъявляли на бенгальском и английском. В бенгальских вариантах встречалась дополнительная английская вставка, но отдельная проверка открытых моделей показала, что без неё эффект сохраняется. Для многоязычного классификатора такой тест стоит проводить на рабочем языке, меняя формулировки и состав вариантов, а не полагаться только на итоговую точность и возвращённую вероятность.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
