MARCH:通过内容路由状态锚点扩展递归记忆
MARCH: Scaling Recurrent Memory with Content-Routed State Anchors
基于摘要分析。本文研究长上下文序列建模中,固定大小递归状态难以保留早期关联的问题,提出 Memory-Anchor Routing across Context History(MARCH):周期性缓存累计递归状态,并以内容路由方式检索历史状态,在历史信息分辨率与存储成本之间提供可调折中。 核心机制是将递归状态检查点保存为 state anchors,为每个锚点生成紧凑的内容条件键。处理每个 token 时,模型生成查询,访问所有因果可用的历史锚点,再以类似注意力的方式聚合历史锚点读出与当前状态读出。它保留递归状态更新路径,但不再仅依赖单一固定大小状态保存全部历史;记忆库会随上下文长度增长。因此,不能仅凭摘要将其视为常数内存或整体线性复杂度的方法,锚点间隔、检索成本与实际效率尚未验证。 作者报告,在标准预训练后,MARCH 在常识推理、LongBench 和上下文检索评估中持续优于多个线性注意力变体。摘要未提供具体基线名称、分数、模型规模或训练预算,实验协议、消融及统计信息尚未验证,亦无法据此判断其与 Transformer 的性能及成本差距。 平台推测(待验证):其机制可能对应长时 EEG 序列中早期事件信息被后续递归更新覆盖的瓶颈,但原文研究对象是通用长上下文建模,并非 EEG 或 BCI。可复用的是状态检查点与内容寻址机制;需改造的是 EEG 时序片段表示、锚点生成方式及任务监督。低信噪比、跨被试差异和小数据可能使检索键偏向伪迹或被试特征。一个可证伪的小实验是在固定数据划分和训练预算下,对同一 EEG 递归骨干比较无锚点、等间隔非内容路由锚点与 MARCH 式路由,检验长时依赖任务的性能及内存、延迟变化。已有 EEG 相关工作尚未检索确认。
值得核对的是,MARCH 通过内容路由的历史状态锚点缓解递归记忆覆盖问题,但其随上下文增长的存储与检索开销,以及相对线性注意力的收益边界,仍需结合全文验证。
来源:OpenReview · State space models · openreview.net