Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Систему распознавания именованных сущностей научили отдельно подбирать примеры для поиска границ сущности и для определения её типа, а затем проверять ответ по внешним знаниям. На шести наборах Qwen2.5-14B с URA-NER набрала в среднем 81,4% по F1 — метрике, которая учитывает точность и полноту; это данные препринта Beijing Institute of Technology, который не прошёл рецензирование и чьи числа получили сами авторы. Подход позволяет заменить одну крупную модель цепочкой из меньшей LLM, поиска примеров и проверки.
Поиск примеров разделили по этапам распознавания
Обычная схема с обучением по примерам в запросе ищет несколько похожих размеченных текстов и целиком передаёт их LLM. Один набор примеров должен одновременно помочь модели найти все сущности и правильно назначить им типы. Эти задачи требуют разного контекста: границы заметнее на уровне всего предложения, а тип часто определяется словами рядом с конкретным именем.
URA-NER сначала подбирает примеры по общему смыслу текста. Модель использует их, чтобы выделить возможные сущности: имена людей, организаций, произведений и другие фрагменты из заданной схемы.
После этого система обрабатывает каждую найденную сущность отдельно. Она ищет в размеченном наборе похожие фрагменты с локальным контекстом и на их основе назначает тип. Ошибка первого этапа при этом остаётся существенной: если модель пропустила фрагмент, второй поиск уже не сможет его классифицировать.
Для поиска URA-NER сочетает представления BGE с внутренними представлениями рабочей LLM. Сначала модель без примеров предварительно отмечает возможные сущности. Система извлекает скрытые состояния и веса внимания, усредняет их по значимым токенам и получает вектор, который отражает собственный способ чтения текста этой моделью.
Векторы размеченных примеров можно вычислить заранее и хранить рядом с поисковым индексом. Во время запроса система объединяет их сходство с оценкой BGE. Фиксированный внешний кодировщик стабилизирует поиск, а внутренние представления LLM помогают выбирать примеры, которые она сама интерпретирует сходным образом.
Проверка следует за ходом рассуждения модели
После распознавания URA-NER просит LLM объяснить решение по каждой сущности. Отдельные шаги этого объяснения становятся запросами к Wikipedia. Для каждого шага система находит подходящий фрагмент, затем собирает найденные сведения в том же порядке и передаёт их модели для окончательной проверки границ и типа.
Порядок здесь влияет не только на удобство чтения. Когда фрагменты знаний перемешивали случайно, F1 снижался до 2,98 процентного пункта, а результаты сильнее менялись между запусками. Значит, внешние сведения полезно не просто добавлять в запрос, а раскладывать по структуре решения, которое предстоит проверить.
В варианте с Qwen2.5-7B средний F1 составил 79,1% против 79,9% у Deepseek-R1 с обычным поиском по общему представлению текста. При этом один запрос занимал 4,2 секунды против 9,2 секунды. Qwen2.5-14B показала лучший средний результат среди сопоставленных в таблице конфигураций.
Проверку провели на доменных частях CrossNER для науки, политики, музыки, литературы и ИИ, а также на CoNLL2003 с общеупотребительными типами сущностей. Обучающие наборы CrossNER содержали 100 или 200 размеченных текстов. Сравнение охватывало Qwen2.5-7B, Qwen2.5-14B и Deepseek-R1, а основной сценарий развёртывания использовал пять примеров в запросе.
Планы меняются для локальных моделей и узких словарей
Работа даёт практический рецепт командам, которые распознают сущности в отраслевых документах, но не могут собрать большой размеченный корпус. Вместо немедленного дообучения можно построить индекс примеров, разделить поиск границ и типов, а затем подключить источник знаний для проверки спорных сущностей.
Наибольший смысл схема имеет при самостоятельном размещении открытой модели. Компонент, который согласует поиск с LLM, требует доступа к скрытым состояниям и весам внимания. При работе с Deepseek-R1 через API эти данные были недоступны, поэтому соответствующую часть отключили; двухэтапный поиск и проверка продолжили работать, но дали крупной модели меньший прирост.
Цена результата — более сложный конвейер. Один документ проходит предварительное распознавание, два поиска примеров, генерацию объяснений, поиск в Wikipedia и повторную проверку. Поэтому URA-NER меняет выбор архитектуры, если качество небольшой локальной модели важнее минимального числа вызовов. Для коротких текстов с обычными типами сущностей преимущество менее убедительно: на CoNLL2003 метод уступил специализированной схеме GPT-NER.
Переходить на URA-NER целиком не обязательно. Самая переносимая часть — раздельный поиск примеров для границ и типов. Согласование по внутренним представлениям требует открытой модели, а проверку по внешним знаниям стоит добавлять там, где справочник покрывает предметную область и дополнительная задержка допустима.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
