Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Стандартный тест персонализации LLM принимает смену темы за знание конкретного пользователя. В нерецензированном препринте Karina Romanova и коллег, где все числа получили сами авторы, штраф от случайной чужой истории составил 10,1 процентного пункта, хотя преимущество перед отдельно обученной моделью без истории достигло лишь 2,3 пункта. Такой тест может завысить пользу пользовательской памяти и привести к неверному выбору архитектуры.
Команда проверила это на классификации новостей LaMP-2 с замороженной Qwen2.5-3B. Историю пользователя заменяли не только случайной, но и историей человека с похожими интересами, а также синтетическим профилем из чужих статей, подобранных по темам и близости текста. Отдельная модель училась работать совсем без истории: это важнее, чем просто отключить память у модели, которая привыкла на неё опираться.
Одни названия категорий воспроизвели 86% разрыва между собственной и случайной чужой историей. Когда синтетическую историю одновременно выровняли по категориям и содержанию, преимущество собственного профиля сократилось до 0,9 пункта. Значит, большая часть эффекта случайной подмены связана с тем, о чём написаны материалы, а не с тем, кому они принадлежат.
На пользователях, которых модель не видела при обучении, собственная история обошла историю похожего человека на 0,65 пункта, причём разница осталась в пределах погрешности. Случайная подмена при этом всё ещё заметно ухудшала результат: она остаётся проверкой чувствительности к неподходящему контексту, но не доказывает, что модель распознаёт индивидуальные предпочтения.
Основной эксперимент ограничен устаревшей новостной версией LaMP-2, короткими профилями и одним семейством декодеров; дополнительную задачу с тегами фильмов проверяли только в пилотном режиме. Для оценки персонализации нужны три сравнения: модель без истории, похожие чужие истории и пользователи, исключённые из обучения. Иначе улучшение от памяти может оказаться улучшением от подсказки по теме.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
