Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Слабые источники разметки нужно выбирать по тому, какие ошибки сможет усвоить модель-ученик, а не по их собственной точности. В препринте Romano Li и Xunfan Cai из Brown University, который не прошёл рецензирование и содержит замеры самих авторов, средняя квадратичная ошибка ученика различалась вдвое: 3 против 6 при одинаковых исходных показателях разметчиков. Значит, веса источников нельзя надёжно назначать только по точности или согласию между ними.
Работа описывает обучение с несколькими слабыми источниками как линейное преобразование их меток. Если ошибка лежит в части пространства, которую ученик способен представить, он её перенимает. Ошибку за пределами этой части модель отфильтровывает, поэтому менее точный разметчик может оказаться лучшим учителем. Оптимальные для самих источников веса при этом могут быть сколь угодно хуже весов, рассчитанных для конкретного ученика, по добавочной ошибке сверх минимально достижимой.
Одних неразмеченных данных недостаточно: по ответам источников и их взаимному согласию нельзя восстановить, какая часть ошибки попадёт в ученика. Для выбора весов нужна небольшая порция чистых меток, которая раскрывает недостающие направления целевой зависимости. Их требуемое количество определяется геометрией этих направлений, а не общей размерностью представления модели. Если известны правила обучения разметчиков, пространство неизвестности можно дополнительно сократить.
Результаты получены для средней квадратичной ошибки и одного общего линейного правила обучения. Сюда входят линейные и гребневые головы поверх фиксированного представления, ядерная гребневая регрессия и обучение с ранней остановкой; тонкая настройка входит в модель только после линеаризации. Авторы также разобрали конечные выборки и обучение гребневого ученика, но все эксперименты провели на синтетических данных. Поэтому работа даёт критерий для проектирования конвейера слабой разметки, а не готовую оценку выигрыша на LLM или прикладном датасете.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
