Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Типобезопасная модель может вернуть допустимый по схеме вариант и при этом систематически выбрать его по имени, а не по заданному правилу. Хотя работу National University of Singapore и Fudan University не рецензировали и числа получили сами авторы, перестановка рубрик между no и yes изменила дополнительно 70,4 ответа из ста по сравнению с той же операцией для нейтральных имён. Значит, проверка схемы не подтверждает, что модель правильно поняла смысл решения.
Такие модели не пишут свободный текст, а выбирают один из заранее заданных вариантов. Каждый вариант состоит из короткого имени и рубрики с его точным определением. Авторы меняли только связь между ними: вопрос, состояние процесса, текст рубрик и набор имён оставались прежними. Модель, которая следует рубрике, должна сохранить решение после такой перестановки.
Основной опыт охватил 1200 решений по сверке счетов, проверке действий агента, классификации предупреждений безопасности и передаче обращений оператору. Для пары no/yes площадь под ROC-кривой — метрика качества ранжирования — упала с 0,94 до 0,23. Результат ниже случайного означает не неуверенность, а перевёрнутое ранжирование: модель уверенно связывает ответ не с той рубрикой.
Эффект проверили на локальных моделях с открытыми весами и на модели, доступной через сервис поставщика. Его величина зависела от устройства решающей головки: часть модели, которая присваивает оценки вариантам, реже ошибалась, когда учитывала весь текст варианта, а не отдельную позицию. На многовариантных задачах зависимость от имён усиливалась. Случайные строки вместо осмысленных имён возвращали поведение к нейтральному режиму без потери точности.
При этом доля ответов вне схемы во всех опытах оставалась равна 0%. Для производственной проверки нужен отдельный тест: поменять местами имена вариантов и измерить, сохраняется ли решение по рубрике. В схеме безопаснее использовать нейтральные идентификаторы, а смысл держать в определениях; обучение со случайной заменой имён авторы предлагают как следующий шаг, но в работе его не проверяют.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
