Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
MemT-1.0 научили сохранять историю взаимодействия внутри состояния модели и применять её в следующих шагах без повторной подачи исходного контекста. Хотя работа не рецензирована и все числа получили сами авторы, на истории длиной 128 тысяч токенов младшая модель ускорила полный цикл вывода в 1,86 раза и сократила постоянное хранилище в 66 раз относительно полного KV-кеша. Для агентных систем это фиксированная по размеру альтернатива контексту, который растёт с каждым шагом.
В выбранные блоки трансформера добавили отдельную ветвь памяти. После каждого хода Gated DeltaNet-2 последовательно обрабатывает токены и через затворы решает, что стереть, забыть или записать. Во время генерации модель читает накопленное состояние параллельно с обычным механизмом внимания, поэтому исходные сообщения больше не нужны для каждого следующего ответа.
Ёмкость увеличивает смесь хранилищ (Mixture-of-Storage): один блок делится на несколько независимых секций, которые участвуют в каждой операции. Два маршрутизатора отдельно распределяют чтение и запись, но используют общие адреса секций. Размер состояния не зависит от длины истории: новая информация сжимается в уже существующее представление, а не дописывается в журнал.
Авторы выпустили MemT-1.0-Nano на основе Qwen3.6-35B-A3B и MemT-1.0-Flash на основе дообученной DeepSeek-V4-Flash; для обучения памяти собрали корпус на 34 миллиарда токенов. На 11 проверках памяти обе версии в среднем обошли другие модели с параметрической памятью и остались сопоставимы с подходами, которые ищут сведения во внешнем хранилище. На SWE-bench Multilingual память с заранее загруженным опытом подняла среднюю долю решённых задач с 60,00% до 62,89%.
Проверки охватывают запоминание сведений, общие способности и работу агентов с кодом. Фиксированное состояние экономит место, но постепенно теряет точные детали ранних событий; кроме того, запись требует вычислений. Поэтому сокращение текстового контекста ещё не означает, что весь агент станет дешевле, а испытанный сценарий пока зависит от заранее подготовленного и найденного опыта.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
