跳到正文
OpenReview · State space models· Yuchen Liu; Yinghao Zhang; Deshu Chen; Hongwei Zhang; Yichi Zhang; Zhijian Zhou; Xin Guo; Yuan Cheng; Chao Qu; Yuan Qi·· 2025-09-19AI 评分71

PUM-Net:面向长上下文状态空间模型、具有联想交互的可塑性统一记忆网络

PUM-Net: Plastic Unified Memory Network with Associative Interaction for Long-Context State Space Models

AI 导读

基于摘要分析。该研究面向长上下文建模,试图同时解决 Mamba-family State Space Models(SSMs)的远距离信息遗忘,以及外部知识接入成本高、内外记忆整合不足的问题。作者提出 Plastic Unified Memory Network(PUM-Net),将动态内部记忆与静态、预编码外部知识纳入统一双记忆架构并联合预训练。 核心机制方面,作者将长期遗忘归因于线性递归动态中的指数衰减核,并借鉴 Native Sparse Attention(NSA)的内部块记忆思路,为 Mamba 引入分块内部长期记忆,以改善超出训练序列长度范围后的远距离上下文检索。在此基础上,PUM-Net 允许外部记忆在训练期间调整内部状态,实现双向交互,而不通过追加检索文档来增加序列长度。摘要未说明联想检索、记忆更新、外部知识编码及联合训练损失的具体实现;作者关于“首次”实现此类联合预训练的表述亦需文献核对。 作者报告在具有挑战性的长程基准上取得显著改进,但摘要未提供基准名称、评价指标、数值、序列长度或对照配置,因此无法判断改进幅度与适用边界。实验协议、消融及统计信息尚未验证;复现还需核对外部知识库规模、编码成本、训练与推理资源,以及内部记忆和外部记忆各自的贡献。 平台推测(待验证):其可迁移机制假设是用分块记忆保留长时程 EEG 信息,并用预编码记忆提供辅助表征,而非直接移植语言领域的外部知识。可复用候选是记忆检索与状态交互模块,需改造 EEG 编码和外部记忆构建方式;低信噪比、通道差异、跨被试分布变化及小数据条件可能使检索返回不匹配模式。一个可证伪的小实验是在固定 Cross-subject 划分下,仅用训练被试构建外部记忆,对比基础 SSM、仅内部记忆和双记忆版本,并同时记录任务指标与计算开销。该假设不代表已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net