Журнал · Rit.work

Alikbachan: почему одной фазы мало для лидерборда

Alikbachan показал, как единый тест по типам ошибок выявляет слабые места систем и отбрасывает решения, подогнанные под первый лидерборд.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Лидерборд по поиску галлюцинаций — убедительных, но неверных утверждений — в бенгальских ответах оказался нестабилен: вторая проверка сменила бы победителя. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, 24 из 25 команд ухудшили результат в среднем на 17,6 процентного пункта. Значит, одной публичной фазы недостаточно, чтобы выбрать систему для продукта.

Alikbachan состоит из двух независимо собранных наборов. Первый включает 2 516 коротких вопросов из экзаменационных материалов, газет и энциклопедии, а второй — 5 000 примеров, распределённых по заранее заданным квотам. Каждый пример размечен по культурной близости, типу задачи и виду галлюцинации, поэтому итоговый балл можно разложить и увидеть конкретный источник ошибок.

Основной метрикой стала макроусреднённая F-мера: она отдельно оценивает верные ответы и галлюцинации, а затем даёт классам одинаковый вес. Рейтинг первой фазы слабо предсказывал места во второй. При этом модели-оценщики, которым не давали примеров в запросе, улучшили результат, тогда как почти все команды потеряли баллы. Такое расхождение указывает, что часть конкурсных решений приспособилась к составу первой выборки, а не освоила задачу целиком.

Разбивка по видам ошибок показала то, что скрывает общий балл. И конкурсные системы, и модели-оценщики часто пропускали ответы, где модель не выдумывала факт, а опускала важную часть исходного текста. Независимая проверка разметки отдельной командой также выявила случаи, когда ошибку модели можно спутать с дефектом самого задания: потерянным фрагментом, неоднозначной формулировкой или устаревшим источником.

Проверка охватывает бенгальский язык: первая часть сосредоточена на коротких ответах, а вторая добавляет работу с контекстом, пересказ, перевод и провокационные запросы. Практический вывод относится прежде всего к устройству оценки: тест для детектора галлюцинаций стоит делить по типам задач и ошибок, а финальное решение принимать на независимо собранной закрытой выборке.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу