Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Базовые модели для табличных данных оказались фактически неглубокими: половину их трансформерных блоков можно обойти почти без потери качества. Работа Irene Cannistraci и Julia E. Vogt из ETH Zurich — препринт, который не проходил рецензирование и приводит числа, полученные самими авторами: медианная площадь под ROC-кривой снизилась максимум на 0,002. Уже обученные модели можно ускорить без повторного обучения и размеченных данных.
Непрерывную группу блоков заменили аффинным преобразованием — линейной операцией со смещением. Его настраивают гребневой регрессией на небольшом наборе данных без меток, чтобы связать скрытые представления до и после пропущенной части. Подходящее окно выбирают по тому, насколько распределение ответов отличается от полной модели.
Просто выбросить блоки нельзя: при таком сокращении модели теряли качество или переставали работать. Преобразование сохраняло поведение сети даже при крайнем сжатии. У TabPFN-3 на MIMIC-III замена 96% блоков снизила AUROC на 0,009, зато запросы с заранее рассчитанным контекстом обрабатывались в 2,4 раза быстрее и требовали в 6,1 раза меньше памяти.
Крайнее сжатие зависит от архитектуры. TabPFN-3 сохранял качество независимо от того, какой единственный блок оставляли; другим моделям с вниманием по одной оси обычно требовался первый блок. У моделей с вниманием по двум осям нашёлся один критический блок, а у TabPFNv2 сокращение до одного блока дало среднюю потерю 0,101 AUROC. Поэтому практический вывод касается прежде всего половины глубины, а не универсальной одноблочной схемы.
Метод проверили на восьми заранее обученных моделях из шести семейств и 171 наборе данных для классификации, включая клинические задачи. Веса моделей оставались замороженными; сравнивали полные и сокращённые версии, а также настроенные деревья с градиентным усилением. Для действующего продукта это вариант оптимизации вывода после обучения, но окно блоков нужно подбирать под архитектуру и данные.
Источники
Иллюстрация: рисунок из статьи «Tabular Foundation Models Are Effectively Shallow», Irene Cannistraci, Julia E. Vogt, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
