Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Оценка одной и той же модели на одних вопросах меняется сильнее, чем обычно различаются модели в рейтингах. Работа пока не рецензирована, а все числа получили сами авторы: смена способа чтения ответа подняла точность с 20,8 до 93,9%. Сравнивать модели без одинакового протокола поэтому рискованно — разница может описывать испытательный стенд, а не знания модели.
OpenTWBench объединяет два теста на знание тайваньского контекста. tw-exam-bench содержит 253 674 вопроса из национальных экзаменов, а tw-formosa-bench — 1 696 вопросов о повседневной и современной жизни Тайваня. Оба используют задания с выбором ответа на традиционном китайском.
Самый крупный разрыв возник при извлечении ответа. Когда система искала вариант по шаблону в свободном тексте, она часто не могла распознать фактически правильный ответ. Требование записывать итог внутри \boxed{} почти устранило эту ошибку, хотя вопросы и модели не менялись.
Ещё один сбой вызвал символ 甲 в примере формата внутри системной подсказки. Одна модель начала копировать обозначения из примера и переместилась с последнего места с 58,2% на первое с 83,9%. Удвоение лимита рассуждения до 16 тысяч токенов, напротив, добавило лишь 0,21 процентного пункта при росте затрат в 1,72 раза, но изменило набор вопросов, на которых модель ошибалась.
Проверка охватывает тайваньские знания, задания с выбором ответа и конкретные настройки OpenTWBench. Для собственных оценок отсюда следует практическое требование: хранить вместе с результатом системную подсказку, формат финального ответа, способ его извлечения и лимит токенов. Иначе обновление стенда может выглядеть как улучшение модели или полностью переставить участников рейтинга.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
