Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Одинаковые ответы мультимодальной модели получили разные оценки только из-за скрытого правила разбора. В препринте Ahmad Jarjis Hasan и Jonathan Lwowski, который не прошёл рецензирование и содержит замеры самих авторов, разрыв в точности достиг 22 процентных пунктов. Поэтому результат бенчмарка может описывать не только возможности модели, но и несколько строк в проверочном коде.
Для аудита воспроизвели официальные средства оценки восьми бенчмарков и прогнали сохранённые ответы пяти открытых моделей, каждая из которых помещается на одном GPU. Ответы генерировали детерминированно, а затем меняли только правило на случай, когда парсер не находил однозначную букву варианта. Что именно ответила модель, отдельно проверяли вслепую человек и модель-оценщик.
Правила расходятся на свободных ответах. Одни выбирают вариант, текст которого больше всего похож на выдачу, другие засчитывают ошибку, третьи используют вероятность токена ответа. В MMAD модель назвала промышленную деталь гвоздём, не ответив, исправна ли она, но поиск ближайшего текста сопоставил эту фразу с вариантом «Yes» по совпадению символов и засчитал ответ.
Проблема не сводится к многословию. В разных средствах оценки MMAD парсер сохранял либо первое, либо последнее совпадение с буквой варианта в рассуждении модели; на одной и той же выдаче это меняло точность на 9,5 пункта. Если модель сразу писала чистую букву, правила совпадали, поэтому эффект не виден в таблицах с моделями, которые строго соблюдают формат.
Авторы предлагают публиковать долю ответов, на которых сработал запасной механизм, область поиска парсера и способ разрешения нескольких совпадений. Точность стоит считать минимум по двум правилам, например с отказом засчитывать неразобранный ответ и с выбором ближайшего варианта. При выборе локальной модели один итоговый балл без этих сведений нельзя напрямую принимать за качество самой модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
