MambaTS:用于长期时间序列预测的改进选择性状态空间模型
MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting
基于摘要分析。本文研究长期时间序列预测(LTSF),针对 Mamba 在多变量历史信息组织、过拟合和变量扫描顺序敏感性方面的问题提出 MambaTS;主要贡献是对选择性状态空间模型的扫描方式与模块设计进行任务导向改造,而非直接研究 EEG 或 BCI。 机制上,作者提出沿时间进行变量扫描,将所有变量的历史信息组织在一起;认为 Mamba 中的因果卷积对 LTSF 并非必要,并提出 Temporal Mamba Block(TMB)。此外,对 TMB 的选择性参数引入 dropout 以缓解过拟合,通过 variable permutation training 应对变量扫描顺序敏感性。进一步提出 variable-aware scan along time,在训练中动态发现变量关系,并在推理时通过求解访问所有节点的最短路径问题,解码最优变量扫描顺序。摘要未提供扫描排列细节、关系学习目标、路径求解算法及额外计算开销,均尚未验证。 作者报告,在八个公开数据集上的实验取得新的 SOTA 表现;但摘要未列出数据集名称、预测长度、划分方式、指标数值或对照基线,因此不能判断优势幅度及其适用范围。实验协议、消融及统计信息尚未验证,复现还需确认代码可用性与完整训练配置。 平台推测(待验证):若将 EEG 通道视为多变量,该方法的变量关系学习与顺序扰动机制可能用于检验通道排列敏感性;这一假设依赖通道间关系可从训练数据中稳定估计,长期预测的有效性不等于 BCI 解码有效性。可复用候选模块是 TMB 和变量排列训练;需改造预测输出头、通道对应关系及任务监督方式。低信噪比、跨被试差异、缺失通道与小样本可能导致关系估计或扫描顺序不稳定。一个可证伪的小实验是在固定 EEG 被试内划分和相同训练预算下,对比原始 Mamba 与相关改造,测试通道重排前后的任务指标变化及推理开销。已有 EEG 相关工作尚未检索确认。
值得阅读的具体原因是其围绕多变量扫描顺序、因果卷积与选择性参数正则化提出了面向长期时间序列预测的 Mamba 改造,但性能优势及其对 EEG 的适用性仍需核对实验协议与独立验证。
来源:OpenReview · State space models · openreview.net