Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Базовую модель для табличных данных научились подстраивать под группы, которые редко встречаются в обучающей выборке, без настоящих меток этих групп и полного дообучения. Команда Pohang University of Science and Technology подняла среднюю по пяти наборам точность TabPFN на худшей группе с 47,94% до 72,57%, хотя работа не рецензирована и числа получены самими авторами. Метод позволяет сохранить общую модель, когда доли клиентов, пациентов или транзакций после запуска отличаются от обучающих данных.
Метод DR-TFM замораживает базовую модель и меняет только небольшую сеть, которая масштабирует вектор запроса перед расчётом внимания. Она учит модель по-разному учитывать размеченные примеры из контекста. Для TabPFN обновляются 8 320 параметров, или 0,016% модели; если такого блока в архитектуре нет, его добавляют в последний слой внимания.
Настоящие групповые метки DR-TFM заменяет структурой, найденной в обучающих данных. Один вариант группирует внутренние представления модели отдельно для каждого класса и оптимизирует результат самой слабой получившейся группы. Другой формирует несколько подвыборок и готовит модель к изменению их долей. В симуляции доля большинства доходила до 90%: обычный TabPFN сохранял среднюю точность около 66%, но на худшей группе показывал около 31%.
Метод проверили в симуляциях, на пяти табличных наборах и ACS Income. Основные сравнения включали исходный TabPFN и устойчивые методы, которым также не давали настоящие метки групп. Перенос на TabPFN-3.5, EXAONE, TabFM и Causilo прибавил в среднем 19,25 процентного пункта к точности худшей группы на пяти наборах. Эти условия соответствуют сдвигу долей уже существующих подгрупп; работа не показывает, как метод поведёт себя при появлении принципиально новых типов данных.
Источники
Иллюстрация: рисунок из статьи «Parameter-Efficient Distributionally Robust Adaptation of Tabular Foundation Models under Subpopulation Shift», Seonghwi Kim, Sung Ho Jo, Minwoo Chae, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
