LLM может запомнить факт, но не суметь его выдать

LLM может запомнить факт, но не выдать его после непривычно сформулированного запроса. В нерецензированном препринте KAIST, где все числа получили сами авторы, точность ответа на новые факты выросла с 0 до 97,7% после предварительного обучения разным формам запроса. При фактическом дообучении нужно отдельно проверять, что модель усвоила, и какими формулировками это знание удаётся извлечь.

Эксперимент разделили на два этапа. Сначала одну модель обучали фактам только в виде утверждений вроде «Столица X — Y», а другую — тем же фактам в пяти формах: утверждение, вопрос, диалог, команда и запись «ключ — значение». Затем обеим дали одинаковый набор новых фактов, причём только в виде утверждений. На знакомой форме модели отвечали почти одинаково, но после строки «— Столица X:» первая почти всегда ошибалась, а вторая находила ответ.

Разницу связали со скрытым состоянием модели непосредственно перед генерацией ответа. Если подменить это состояние значением от успешной формы запроса, уже выученный факт становится доступен; обратная подмена мешает его извлечь. Эффект переносился между отдельными фактами и отношениями, включая столицы, валюты и годы рождения. Изменение состояния во время дообучения также влияло на последующие ответы, хотя при проверке вмешательство уже не применяли.

Работу проверяли на Pythia, Qwen и Llama в контролируемых наборах с вымышленными и структурированными фактами; основной разбор сделан на Pythia-410M. Эти опыты не описывают всё обучение на естественных текстах, но показывают практическую ошибку оценки: тест с одной формулировкой смешивает отсутствие знания с неудачным способом запроса. Для систем, где факты добавляют дообучением, набор проверок должен включать разные окончания и конструкции запросов, а не только шаблон обучающих примеров.

Источники

• Learning a Fact Is Not Learning How to Retrieve It

Иллюстрация: рисунок из статьи «Learning a Fact Is Not Learning How to Retrieve It», Chaemin Jang, Jihee Kim, Dongman Lee, CC BY 4.0