Журнал · Rit.work

BiSpace разделяет поиск и запись фактов в LLM

BiSpace хранит исправления отдельно от весов LLM, ищет их во внешнем семантическом пространстве и сокращает объём памяти на одну правку почти в десять раз.

Rit.work
Студия разработки
20 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

BiSpace позволяет последовательно исправлять факты в LLM, не меняя веса базовой модели. В препринте команды из The Hong Kong Polytechnic University, Guangdong Institute of Intelligence Science and Technology, OpenMIA Research и National University of Singapore, который не прошёл рецензирование и содержит замеры самих авторов, система выдержала 16 тысяч правок, а одна запись занимала около 10,2% объёма полноразмерной записи прежней схемы. Это делает отдельную память с исправлениями практичнее для продуктов, где сведения регулярно устаревают.

Поиск правки больше не зависит от внутреннего состояния LLM

Редактирование модели меняет отдельный факт, не требуя повторного обучения на всём наборе данных. Один из способов — оставить веса нетронутыми и хранить каждое исправление во внешней таблице: ключ помогает найти нужную запись, а значение задаёт изменение во внутреннем состоянии модели.

В GRACE и HoReN ключ строится из активаций самой LLM. Эти представления хорошо подходят для предсказания следующего токена, но не обязаны точно отражать смысл всей фразы. Когда память заполняют близкие по теме исправления, запрос может попасть к похожей, но неверной записи.

Послойный разбор HoReN показал, что слабым местом служит именно поиск. Если системе сразу передать правильную запись, разные слои и семейства моделей достаточно устойчиво применяют исправление. BiSpace поэтому разделяет две задачи, которые прежние редакторы решали в одном пространстве.

Для поиска BiSpace использует замороженную Jina-Embeddings-v5-Text-Nano. Она превращает исходную формулировку факта и новый запрос в компактные векторы, обученные отражать смысл предложений. Система вычитает из них скользящее среднее по накопленным ключам: так векторы меньше стягиваются в одно направление, а близость между ними лучше различает записи.

Затем современная сеть Хопфилда уточняет запрос через связи со всей памятью и выбирает наиболее подходящий ключ. Это ассоциативный поиск: запрос притягивается к сохранённому образцу, а порог совпадения не даёт применять исправление к посторонней фразе.

Разреженная запись сокращает память без смены весов

После поиска BiSpace переносит исправление во внутреннее пространство LLM. Для каждой записи система создаёт вектор обновления, но обучает только случайно выбранную часть его координат. Остальные остаются нулевыми.

В памяти лежат только ненулевые значения и их позиции. Во время ответа BiSpace восстанавливает полный разреженный вектор и добавляет его к скрытому состоянию последнего токена запроса. Базовые параметры модели при этом не меняются, поэтому новые записи не перезаписывают общие веса и меньше мешают ранее сохранённым фактам.

Случайный выбор координат сработал не хуже отбора по величине градиента. Даже при активации 6,25% координат инъекция оставалась близка к полной, если редактору давали больше шагов обучения. Здесь возникает управляемый компромисс: более редкая запись экономит память, но дольше готовится.

Когда BiSpace меняет планы продукта

На сериях из 10 тысяч исправлений BiSpace сравнили с редактором памяти HoReN и методами, которые меняют параметры модели. Итоговый показатель объединял успех на точной формулировке, перенос на перефразированный запрос и сохранение соседних знаний.

На WikiBigEdit разрыв с HoReN достиг почти 20% для LLaMA-3.1-8B-Instruct. На CounterFact он превысил 32% для Qwen2.5-7B-Instruct. На более простом ZsRE преимущество оказалось скромнее — более 2,7%, поскольку запросы там легче отделить друг от друга.

Общие способности LLaMA-3.1-8B-Instruct и Qwen2.5-7B-Instruct на наборе языковых задач GLUE почти не менялись по мере накопления исправлений. Это ожидаемое следствие архитектуры: память растёт рядом с моделью, а не последовательно переписывает её параметры.

Проверка охватывала также Mistral-7B-Instruct-v0.3 и три набора структурированных фактов: ZsRE, WikiBigEdit и CounterFact. На UnKEBench с длинными и сложными знаниями разреженной записи уже не всегда хватало, поэтому результаты нельзя напрямую переносить на документы, инструкции или большие фрагменты текста.

BiSpace меняет архитектурный выбор для систем, которые работают с собственными моделями и регулярно обновляют короткие факты: каталожные сведения, связи между сущностями или ответы базы знаний. Вместо периодического дообучения можно рассматривать отдельную адресуемую память, если команда контролирует запуск LLM и может вмешиваться в её скрытые состояния.

Для доступа только через закрытый API схема не подходит: ей нужны внутренний слой модели, внешний кодировщик и поиск по накопленным ключам во время каждого ответа. Кроме того, память всё равно растёт вместе с числом правок, хотя каждая запись стала компактнее. Работа показывает не готовую замену дообучению для любого случая, а более устойчивую конструкцию для узкого класса часто меняющихся фактов.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу