Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Длинную последовательность научились сжимать в постоянную память так, чтобы связи между удалёнными фрагментами не исчезали по мере чтения. В нерецензированном препринте, где все числа получили сами авторы, Double-Take подняла долю правильно восстановленных связей с уровня случайного ответа 0,10 до 0,92. Для архитектур с фиксированной памятью это меняет критерий выбора: размер контекста сам по себе не показывает, сможет ли модель воспользоваться прочитанным.
Работа команд Rutgers University и University of South Florida разбирает три независимые проблемы. Новые записи конфликтуют со старыми, факты из разных позиций не образуют общую связь, а память одинаково сохраняет полезные изменения и проходной фон. Поэтому модель может вместить больше информации, но всё равно не найти нужную пару или потерять её среди других записей.
Double-Take исправляет эти сбои по отдельности. Несколько частичных обновлений памяти снижают взаимное затирание записей. Локальное смешивание перед записью связывает соседние позиции, после чего постоянная память переносит эту связь на большое расстояние. Двунаправленная запись сравнивает окружение слева и справа и сильнее сохраняет места, где структура последовательности меняется.
Механизм сначала проверили на искусственном восстановлении связей, где можно разделить ёмкость памяти и связывание позиций. Полную модель обучали на фрагментах человеческого генома длиной 32 килобазы, затем заморозили и проверили на поиске границ пространственных участков генома, структурных вариантах и переносе с человека на мышь. При контексте около одной мегабазы качество ранжирования, измеренное площадью под ROC-кривой, составило 0,856.
Работа охватывает геномные последовательности и сравнивает Double-Take как с вариантами той же архитектуры, так и с Caduceus-PS и HyenaDNA. Для продуктовых LLM результат пока служит архитектурной подсказкой, а не готовым доказательством: при сжатии истории нужно отдельно тестировать ёмкость, связывание фактов и выборочное удержание, а не ограничиваться заявленной длиной контекста.
Источники
Иллюстрация: рисунок из статьи «Double-Take: Improving Capacity, Binding, and Selectivity In Long-Context Within Bidirectional Memory», Vakul Raghavan, Utkarsh Grover, Mingyang Mao и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
