Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Оценка, которая должна находить социальное предубеждение в отдельных головах внимания, не показала, что измеряет именно предубеждение. В работе S. M Seefat Alam вариант запроса объяснял 64% разброса оценки, а длина ответа при неизменном запросе — 1%; работа не рецензирована, а все числа получил сам автор. Отключать найденные головы ради справедливости модели рискованно: метрика может принять изменение формата или поломку ответа за улучшение.
Голова внимания — отдельный канал, через который модель связывает части входного текста при генерации. Метод DiffHeads делит ответы на справедливые и несправедливые, присваивает каждой голове оценку, выбирает головы с сильной связью с несправедливыми ответами и обнуляет их вклад. Аудит воспроизвёл эту схему и добавил проверки на другие возможные причины результата.
Сначала карта предубеждения почти совпала с картой длины ответов. Затем автор изменил инструкции так, чтобы получить недостающие сочетания: короткие справедливые и длинные несправедливые ответы. Связь с длиной исчезла, зато оценка продолжила зависеть от конкретного варианта запроса.
Отделить социальное предубеждение от ещё одного признака тоже не удалось. В коротких ответах метка несправедливости и упоминание защищаемой социальной группы почти совпадали: связь между ними достигла 0,95. Поэтому наблюдения не показывают, реагируют головы на предубеждение, название группы или особенности инструкции.
Проверка охватила Qwen-2.5-7B-Instruct и Llama-3.1-8B-Instruct в четырёхбитном формате, английские вопросы с выбором между социальными группами и жадную генерацию. Карты строили по 60 вопросам, а результат отключения проверяли на отдельном наборе. Ни один выбранный набор голов не снизил долю несправедливых ответов по сравнению со случайными наборами из тех же слоёв. При этом обратный набор голов разрушал отказы отвечать, то есть сама процедура отключения могла находить причинные эффекты.
Работа не доказывает, что предубеждение нельзя связать с головами внимания. Она показывает более узкую проблему: карта голов и улучшение итоговой метрики сами по себе не объясняют, какой механизм найден. Перед внедрением такого исправления нужны вмешательства, которые разрывают связь между меткой, формой запроса и качеством генерации.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



