Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Защитные классификаторы одной архитектуры могут получить противоположные оценки только из-за того, какое определение опасного запроса использовали при разметке. В препринте Lenovo, который не прошёл рецензирование, а все числа получили сами авторы, результат на HarmBench-copyright менялся от 0 до 100. Поэтому сравнивать модели по одной строке бенчмарка нельзя без сведений о правилах разметки и обучающих данных.
Один набор запросов разметили по двум правилам: «это запрос вредного содержания» и «модератор должен это заблокировать». Правила расходились на пограничных случаях — например, при просьбе воспроизвести защищённый авторским правом текст. Затем на этих метках обучили варианты ModernBERT с общей архитектурой, кодовой базой и семейством оптимизаторов.
Сначала проверили пересечение тестов с обучающими и проверочными выборками. В них уже находились 88% примеров JailbreakBench-benign и 82% OR-Bench-hard — наборов, которые должны показывать, как часто защита ошибочно блокирует допустимые запросы. После удаления совпадений разброс между вариантами сохранился, поэтому его нельзя объяснить одним запоминанием тестов.
Решающим оказался последний обучающий сигнал. Политику переносили вероятностные ответы модели-учителя при дистилляции или повторное обучение выходных слоёв: изменение 0,03% параметров сдвигало HarmBench-copyright через весь диапазон. При этом качество обнаружения явно вредных запросов не менялось сопоставимым образом. Проверочная точность также сильнее отражала согласие с политикой разметчика, чем способность распознавать вред.
Работу провели на ModernBERT двух размеров, собственной таксономии Lenovo и наборе публичных тестов. Каждый вариант обучали с одной случайной инициализацией, а объёмы выборок и отдельные настройки различались. Для оценки защитного классификатора поэтому нужны три величины: пересечение теста с обучающими данными, минимальный разброс результатов из-за случайной инициализации и точное правило, по которому запрос считали опасным.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
