Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Правдоподобное объяснение заставляет мультимодальную модель-оценщика чаще принимать неверный ответ, даже когда изображение ему противоречит. В препринте, который не проходил рецензирование и все числа для которого получили сами авторы, обычное обоснование повлияло на вердикт примерно так же, как текст, составленный с 41 приёмом убеждения. Поэтому оценочный конвейер может завысить качество модели, если передать оценщику ответ вместе с объяснением.
Для проверки собрали набор тестов JUPE. В каждом задании сохраняли изображение, вопрос и готовый ответ, но меняли сопровождающий текст: убирали его, добавляли простое обоснование, цепочку рассуждений или намеренно убеждающий аргумент. Оценщик видел изображение, но не получал эталонного ответа и должен был сам решить, подтверждают ли визуальные данные предложенный вариант.
Простое обоснование снизило долю верно отклонённых неверных ответов на 12,7 процентного пункта, цепочка рассуждений — на 13,8, убеждающий текст — на 12,5. Более того, 36–39% ответов, сначала помеченных как «точно неверные», после пояснения оценщики приняли. При этом совокупная точность изменилась менее чем на два процентных пункта: модели стали чаще принимать и правильные ответы, поэтому итоговая метрика скрыла рост ложных допусков.
JUPE включал 250 вопросов по медицинским изображениям, диаграммам и заданиям, где модели склонны придумывать отсутствующие детали. Проверка охватила 14 открытых и проприетарных моделей-оценщиков. Общий эффект проявлялся в разных областях, с разными генераторами объяснений и протоколами оценки, но заметно различался между моделями.
Предупреждение о возможном влиянии объяснения и требование сначала решить задачу самостоятельно не дали стабильной защиты: результат зависел от оценщика. Для продуктовой оценки безопаснее отдельно считать, как часто модель отклоняет неверные ответы и принимает правильные, а также сравнивать вердикты с объяснением и без него. Одной совокупной точности для такого конвейера недостаточно.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
