Causilo ускоряет табличные модели без квадратичной цены за признаки

Causilo научилась решать задачи классификации и регрессии на таблицах с качеством лидирующих моделей, но с меньшей задержкой. На TabArena она получила 1785 баллов Elo и обработала тысячу тестовых строк за 0,10 секунды; поскольку препринт не проходил рецензирование, все числа получили сами авторы. Это позволяет рассматривать предобученную модель как основу для сервисов, где прогноз нужен без дообучения под каждую таблицу.

Модель представили Minyong Cho и соавторы. Causilo сначала сопоставляет значения одного признака между строками, затем разрешает признакам внутри строки обменяться информацией и ещё раз сверяется с примерами из контекста. Только после этого она сжимает строку в единое представление и строит прогноз.

Главное изменение касается механизма внимания. Вместо прямого сравнения каждого признака с каждым Causilo пропускает информацию через четыре сводных токена. Поэтому вычислительная цена растёт линейно с числом признаков, а не квадратично. Отдельный замер на GPU подтвердил близкий к линейному рост времени; сама модель содержит примерно в шесть раз меньше параметров, чем TabPFN-3.5.

На TabArena Causilo тратила на вывод на 31,6% меньше времени, чем TabPFN-3.5-Fast. Она попала на границу Парето: среди сравниваемых вариантов не нашлось модели, которая одновременно точнее и быстрее. На ScoringBench ей потребовалось 40% времени TabPFN-3.5-Fast при более высоких результатах по всем четырём метрикам регрессии.

Causilo предобучили примерно на 36 млн синтетических таблиц, а проверили на TabArena, BeyondArena и ScoringBench с реальными наборами данных. На BeyondArena она заняла первое место в общей классификации и регрессии, но на сгруппированных данных уступила нескольким обычным моделям машинного обучения. Код доступен по Apache 2.0, однако коммерческое использование весов, производных моделей и их результатов требует отдельной лицензии.

Источники

• Causilo Technical Report