跳到正文
OpenReview · State space models· Pengrui Quan; Ozan Baris Mulayim; Liying Han; Dezhi Hong; Mario Berges; Mani Srivastava·· 2024-10-11精选AI 评分75

重新思考时间序列基础模型:元数据与状态空间模型视角

Reimagining Time Series Foundation Models: Metadata and State-Space Model Perspectives

AI 导读

基于摘要分析。本文研究通用时间序列基础模型(TSFM)如何利用元数据应对数据异质性,以及状态空间模型(SSM)相较 Transformer 是否更适合时间序列预测;主要贡献是比较元数据整合方法与两类架构,并考察实际时间戳的作用。 研究动机是:原始时间序列未必能充分反映数据生成过程与传感装置的信息,因此仅依靠数值序列可能不足以实现准确预测。论文围绕元数据整合方法的公平比较,以及 SSM 与 Transformer 的预测效果比较展开;摘要未说明时间戳的编码方式、元数据融合位置、模型结构或训练目标。 作者报告,在覆盖 11 个数据集的实验中,结果支持使用 SSM 构建模块及引入实际时间戳。在作者整理的域内与域外数据集上,结合时间戳的 SSM 方法在预测任务中优于三个现有 TSFM,同时使用少 6,000 倍的可训练参数和少 10 倍的训练数据。该结论限定于所述预测评估,不能直接视为 EEG 解码或 BCI 性能证据;具体数据集、指标、划分、基线名称、参数统计范围及训练数据计量方式尚未验证。摘要提及 TSFM 的零样本与少样本能力作为背景,但未明确上述结果对应何种适配协议。 平台推测(待验证):若 EEG 预测任务存在不规则采样或跨会话时间信息差异,显式时间戳与 SSM 序列建模可能具有可检验的对应关系。这一假设依赖可靠的时间元数据与足够的预训练数据;可借鉴时间戳整合思路和 SSM 模块,但需改造多通道输入、通道标识及任务输出。低信噪比、被试差异、通道配置变化与小数据条件都可能使原领域优势失效。一个小规模检验是在同一 EEG 预测任务与固定跨会话划分下,对比有无时间戳的 SSM 与参数量匹配的 Transformer,统一训练数据量、预测窗口及指标。已有 EEG 相关工作尚未检索确认,全文实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读其元数据整合与 SSM、Transformer 的对照设计,尤其是实际时间戳在域内及域外预测中的作用,但参数与训练数据效率结论仍需结合全文协议核对。

来源:OpenReview · State space models · openreview.net