Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
У языковой модели можно извлечь внутреннюю оценку, даже когда новая инструкция заставляет её выдать неверный ответ. В нерецензированном препринте KAIST, где все числа получены самими авторами, при отрицании вопроса о безопасности показатель AUROC вырос с 0,480 до 0,891; он показывает, насколько хорошо метод различает безопасные и небезопасные ответы. Это позволяет отличать ошибку рассуждения от ошибки при переводе оценки в заданный формат.
Авторы подавали модели один и тот же материал, но меняли инструкцию: например, просили ответить Yes или No, меняли значения этих ответов местами либо спрашивали не о правильности, а о неправильности. Разница между векторами скрытого состояния сосредоточилась в нескольких направлениях — пространстве, связанном со способом выражения ответа. Его нашли по парам инструкций без эталонных меток, после чего удалили соответствующую часть из линейного классификатора; сам классификатор при этом обучали на размеченных примерах.
На вопросе с отрицанием обычный классификатор правильности просел с 0,650 до уровня, при котором заметно хуже разделял верные и неверные ответы. После удаления влияния формулировки результат достиг 0,802 и почти сравнялся с классификатором, специально обученным на отрицательной формулировке. Метод также переносился на инструкции, которые не участвовали в поиске пространства выражения.
Проверка охватила бинарные оценки правильности, логического следования и безопасности на GSM8K, MMLU, ARC-Challenge, TriviaQA, ANLI и BeaverTails. Использовались модели семейств Qwen2.5, Llama, Mistral и Gemma размером от 7B до 32B параметров, а ответы сводились к одному токену или короткой фразе. Поэтому результат пока относится к внутреннему анализу доступных моделей и коротким вердиктам, а не к закрытым API или развёрнутым экспертным заключениям.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
