Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Локальное распознавание именованных сущностей — людей, организаций, мест и продуктов — не требует генеративной LLM: компактные модели-кодировщики дают близкую точность и надёжнее соблюдают формат ответа. В препринте Vinay Kumar Chaganti, который не рецензирован и все числа для которого получил сам автор, самые небольшие генеративные модели не смогли корректно завершить до 27% ответов на длинных документах. Для обработки чувствительных текстов без API это делает формат ответа таким же важным критерием, как точность.
Автор сравнил spaCy, модели GLiNER, Qwen3 и DeepSeek-R1 на CoNLL-2003, WNUT-17 и корпусе длинных RSS-материалов. Все модели работали локально на Apple M4 Pro без дополнительного обучения. Точность измеряли строгой F1: сущность засчитывали, только если модель верно определила и её границы, и тип.
Qwen3-4B-Instruct опередила GLiNER-large на чистых новостях на 0,014 F1, но на шумных пользовательских текстах уже GLiNER-large была впереди на 0,093. При этом модель-кодировщик почти в девять раз меньше. Увеличение бюджета ответа более чем втрое сократило долю незавершённых результатов небольшой Qwen лишь на 2 процентных пункта, а максимальная задержка выросла до 97 секунд: проблему устранил размер модели, а не настройка длины ответа.
Оценка на автоматически размеченном LLM корпусе повышала позиции генеративных моделей. После проверки разметки человеком результаты всех моделей-кодировщиков выросли, а всех генеративных — снизились, поэтому собственный набор данных лучше проверять хотя бы на части документов.
Уверенность GLiNER хорошо упорядочивала ответы от надёжных к ошибочным, но завышала вероятность правильного результата. Порог уверенности поднял F1 на оставшихся ответах максимум на 0,143. Каскад, который передавал сомнительные документы от GLiNER-small к GLiNER-large, дал статистически значимый выигрыш только на RSS-News — 0,021 F1. Значит, порог полезен для отказа от ненадёжных ответов, а экономию от каскада нужно проверять на корпусе продукта.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
