Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Hy-Memory-30B-A3B научили записывать факты, изменения и решения во внешнюю память разных систем, хотя работа не рецензирована и числа в ней получили сами авторы. Модель набрала в среднем 55,49 балла против 54,62 у Claude Opus 5. Такой модуль может заменить более крупную универсальную LLM на пути записи, не привязывая продукт к одной реализации памяти.
Обучение разделили на два этапа. Сначала модель осваивала протоколы Mem0, MemOS и Hy-Memory на состояниях памяти, которые создавала сама: это учило её выдавать допустимые операции и учитывать последствия прошлых записей. Затем обучение с подкреплением оценивало, помогают ли сохранённые сведения отвечать на последующие вопросы, и штрафовало лишние записи.
Награду назначали отдельным фрагментам диалога, а не всей цепочке целиком. Проверочные вопросы выявляли пропущенные детали, потерю точности, устаревшие факты и смысловые инверсии. Для вопросов, которые связывали несколько фрагментов, система сопоставляла найденные факты с конкретными записями. Модель, которая отвечала на вопросы, и модель-оценщик оставались неизменными, поэтому рост балла зависел от содержимого памяти.
Основную проверку провели на фиксированных 20% примеров из набора тестов для Mem0, Hy-Memory, MemOS и EverMemOS. Последняя система не участвовала в обучении: на ней Hy-Memory-30B-A3B опередила Claude Opus 5 на 2,86 балла. На Hy-Memory и MemOS результаты фактически совпали, поэтому главный аргумент в пользу переноса навыка даёт именно EverMemOS, а не общий отрыв менее чем в один балл.
В модели около 3 млрд активных параметров на запрос при 30 млрд параметров всего. Это позволяет рассматривать её как отдельный модуль записи вместо крупной универсальной модели. Стоимость обслуживания в работе не измеряли, поэтому возможная экономия пока следует из меньшего активного размера, а не из прямого сравнения расходов.
Источники
Иллюстрация: рисунок из статьи «Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing», Tianxiang Fei, Jiazheng Kang, Mao Zheng и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
