跳到正文
OpenReview · State space models·· 23 天前精选AI 评分78

具有可学习记忆动力学的分数阶状态空间模型

Fractional-Order State Space Models with Learnable Memory Dynamics

AI 导读

基于摘要分析。本文研究如何为结构化状态空间模型(SSMs)引入显式、可学习的长期历史依赖,并控制由此产生的计算与缓存成本。核心贡献是采用可学习阶数 α∈(0,1] 的 Caputo 导数构建分数阶状态空间框架,并从同一卷积求积离散化推导并行训练与因果流式推理两种实现。 在连续形式中,α=1 对应普通一阶 SSM;当 0<α<1 时,状态演化非局部地依赖过去状态,α 调节历史权重及稳定松弛模态的长时间代数衰减。直接计算历史依赖需要持续增长的缓存,累计计算量为二次量级。并行训练实现通过离散传递函数的轮廓采样与逆 FFT 构造近似核,再以 FFT 卷积处理序列;流式推理则将近期状态缓冲区与离散历史尾部的指数和近似结合。两者近似同一个离散分数阶算子。作者说明,在模型维度与压缩设置固定时,流式缓存大小不随已处理 token 数增长,但尾部近似是在指定时间范围内拟合,不能据此推断任意长序列上的误差保证。 作者报告在 Long Range Arena、原始波形 Speech Commands 分类及 BIDMC 心率估计上开展实验,展示框架在不同序列领域的适用性,并以 α=1 为受控对照检验分数阶历史是否提高对应整数阶模型的表征能力。摘要未提供具体分数、数据划分或提升幅度;实验协议、消融及统计信息尚未验证。复现需核对 α 的学习方式、离散化参数、核与尾部近似精度、拟合时间范围,以及训练和流式推理的数值一致性。 平台推测(待验证):显式历史加权可能对应 EEG 长时依赖建模的需求,可复用分数阶算子及历史压缩机制,但需适配多通道输入、采样时间尺度和任务监督。该假设不等于已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。低信噪比下历史累积可能保留噪声,跨被试或通道变化可能改变适宜记忆尺度,小数据也可能使 α 学习不稳定。可在固定 EEG 任务与相同被试内划分下,对照可学习 α 和 α=1,保持其余模型与训练条件一致,检验任务指标、流式误差及缓存开销,并测试超出尾部拟合范围后的稳定性。

阅读价值

值得核对其共享离散算子下的并行训练与流式推理实现,以及与 α=1 的受控对照,以判断可学习分数阶历史依赖的收益和近似代价;摘要尚不足以确认性能提升。

来源:OpenReview · State space models · openreview.net