跳到正文
OpenReview · State space models· Xiuding Cai; Yaoyao Zhu; Xueyao Wang; Yu Yao·· 2024-09-27精选AI 评分74

MambaTS:用于长期时间序列预测的改进选择性状态空间模型

MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting

AI 导读

基于摘要分析。本文研究多变量长期时间序列预测(LTSF),提出 MambaTS,以 Mamba 为骨干,通过沿时间与变量的一次线性扫描建模全局依赖,探索不依赖自注意力建立长程依赖的路径。其主要贡献是变量感知时间扫描(variable-aware scan along time,VAST)与 Temporal Mamba Block(TMB),并非面向 EEG 或 BCI 的专门方法。 机制上,VAST 在训练期间动态发现变量关系,在推理期间通过求解访问所有节点的最短路径问题确定最优变量扫描顺序。摘要以因果关系解释这一设计,但变量关系的学习目标、方向性约束,以及是否具备因果识别依据尚未验证。作者认为独立变量的存在使 Mamba 中的因果卷积并非必要,据此设计 TMB,并对其中的选择性参数引入 dropout 以缓解过拟合;具体结构、参数选择方式和训练细节尚未验证。单次线性扫描的描述也不能直接等同于包含扫描顺序求解在内的端到端线性复杂度。 作者报告,在八个公开数据集上的实验取得新的最先进性能。摘要未提供数据集名称、预测跨度、划分方式、指标数值或对照基线,因此目前不能量化其收益或判断不同协议下的可比性;实验协议、消融及统计信息尚未验证。复现需核对扫描顺序求解的实现与计算开销,以及 VAST、卷积调整和 dropout 各自的贡献。 平台推测(待验证):假设 EEG 多通道预测存在可稳定学习的有向时序依赖,VAST 的变量排序与选择性状态空间扫描可能用于长序列预测。可复用的是扫描与参数正则化思路,需改造的是通道关系建模及通道缺失处理;低信噪比、体积传导导致的相关性、跨被试差异和小数据可能使排序不稳定。一个可证伪的小实验是在固定被试内训练与测试划分、相同预测跨度和模型预算下,对比学习排序、固定排序与随机排序的预测误差及排序稳定性。此迁移假设不等于已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 VAST 如何学习变量关系并确定扫描顺序,以及 TMB 的卷积调整和选择性参数 dropout 是否在一致协议下改善长期预测;摘要中的因果关系与性能主张仍需全文验证。

来源:OpenReview · State space models · openreview.net