Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
В эмбеддингах для поиска обнаружили скрытую иерархию: их первые измерения описывают крупные категории, а следующие уточняют связи между понятиями. В препринте Hanyang University, который не проходил рецензирование и содержит замеры самих авторов, метод PEEL перенёс эту структуру в новую предметную область без обучающих связей из неё. Команда с готовым словарём терминов может строить таксономию поверх существующей модели, не переобучая весь кодировщик.
Почему начало вектора знает о крупных категориях
Обучение представлений Matryoshka (MRL) устроено так, чтобы начальная часть вектора оставалась пригодной для поиска после отсечения остальных измерений. Короткий вектор хранит основные смысловые различия, а более длинный добавляет детали. Авторы проверили, совпадает ли такое устройство с уровнями эталонных таксономий.
Проверка охватила три разные модели: Nomic-embed-text-v1.5, jina-embeddings-v3 и Qwen3-Embedding. Для каждого понятия измеряли чистоту меток ближайших соседей: если рядом чаще оказывались понятия из той же категории, начальная часть вектора лучше отражала соответствующий уровень иерархии.
Два контрольных варианта отделяли полезный порядок измерений от общего содержания эмбеддинга. В первом измерения случайно перемешивали, во втором брали конец вектора вместо начала. Исходный порядок выигрывал у обоих вариантов, поэтому результат нельзя объяснить только тем, что модель в принципе различает темы.
Разная длина начальной части давала не просто более или менее подробную версию одного дерева. У 99% понятий менялся родитель, когда авторы строили деревья на разных длинах вектора. Значит, MRL-эмбеддинг содержит несколько вариантов разбиения, но они не образуют аккуратную вложенную структуру, которую можно принять без проверки.
Как PEEL превращает векторы в связи «родитель — потомок»
PEEL получает заданный список понятий и строит для каждого эмбеддинг с помощью замороженной модели. Поверх векторов обучается небольшая проекция на 98 тысяч параметров. Она располагает понятия так, чтобы координаты более общего термина не превышали координаты частного термина: например, категория должна охватывать своего потомка по всем направлениям нового пространства.
Проекции нужна разметка из исходной предметной области — известные пары родителей и потомков. Во время обучения PEEL случайно меняет длину начальной части эмбеддинга, чтобы не привязываться к одному уровню детализации. Кодировщик при этом остаётся неизменным: обучается только слой, который отделяет иерархический сигнал от признаков, нужных обычному поиску.
После проекции алгоритм оценивает возможные направления связей и сначала собирает корневое дерево без ручного порога. Затем он добавляет подходящие дополнительные рёбра, если они не создают цикл. Так дерево превращается в ориентированный ациклический граф, где одно понятие может относиться сразу к нескольким более общим категориям.
Когда результат меняет планы разработки
На wiki-ol PEEL получил Graph F1 0,885, а при переносе на arXiv-ol — 0,931. Graph F1 сопоставляет окружение узлов в построенном и эталонном графах: чем показатель ближе к единице, тем точнее совпадает общая структура. Для целевой области arXiv обучающие связи не использовались.
Сравнение с OLLM показывает направление, но не даёт равных условий. OLLM читает документы, одновременно находит понятия и связывает их; PEEL получает готовый эталонный словарь и решает только вторую задачу. Поэтому PEEL не заменяет извлечение терминов из корпуса, а становится отдельным модулем после него.
Работа влияет на архитектуру продукта, если у команды уже есть MRL-модель и контролируемый список сущностей: структуру можно попробовать извлечь небольшим обучаемым слоем вместо отдельной генеративной системы. Особенно полезен сценарий, где есть размеченная исходная таксономия, но для новой предметной области доступны только названия понятий.
Границы проверки пока узкие: наличие иерархического сигнала изучали на трёх моделях и двух наборах, а сам PEEL запускали с Nomic-embed-text-v1.5 на глубокой wiki-ol и небольшой двухуровневой arXiv-ol. Метрики оценивают сходство структуры, а не влияние таксономии на поиск, ответы на вопросы или бизнес-процесс. Поэтому работа поддерживает пилот на собственном словаре, но не заменяет проверку связей отраслевыми специалистами.
Источники
Иллюстрация: рисунок из статьи «Peeling the Matryoshka: Extracting Ontological Structure from Retrieval Embeddings», Eunchan Kim, Inwhee Joe, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
