跳到正文
arXiv · 时序与音频基础模型· Haoran Zhang; Haixuan Liu; Xingjian Su; Yong Liu; Zhi Chen; Yuxuan Wang; Jianmin Wang; Mingsheng Long·· 1 天前精选AI 评分78

Timer-M1:通过学习基元构建多变量时间序列基础模型

Timer-M1: A Multivariate Time Series Foundation Model via Learning Primitives

AI 导读

基于摘要分析。Timer-M1 面向跨领域多变量时间序列的零样本预测,通过基于基元(primitives)的数据合成与预训练,学习跨领域共享的时间模式及变量关系,以应对不同场景中模式表现和演化方式的差异。 方法上,合成流程先生成包含 temporal primitives 的序列,再利用 relational primitives 将真实序列与生成序列组装为多变量样本。随后,将样本组织为 episodes,并明确区分目标变量、仅提供历史信息的协变量及已知未来信息的协变量,使模型利用可用外生信息预测目标变量。模型采用经调整的门控二维 Transformer 模块,在不同层中动态分配跨变量注意力;具体门控实现、训练目标、数据规模及推理配置尚未验证。 作者报告,在三个大规模预测基准上,与近期时间序列基础模型比较,Timer-M1 在 FEV 和 TIME 排名第一,在 GIFT-Eval 排名第二。摘要未提供具体指标值、预测长度、数据划分或完整对照模型列表,不能据排名推断提升幅度。实验协议、消融及统计信息尚未验证;复现还需核对基元生成规则、真实与合成数据配比、通道角色分配及模型权重可用性。 平台推测(待验证):其原问题是利用跨领域共享模式实现零样本预测,依赖多变量时序结构及明确的协变量可用性。迁移假设是,基元合成与跨变量注意力可能用于 EEG 的跨通道信号预测,但不等同于已验证的 BCI 解码能力。可复用的是合成流程和变量交互建模;需改造的是 EEG 基元定义、通道角色与任务输出,尤其不能将未知未来 EEG 当作已知协变量。低信噪比、被试差异、通道布局变化和小数据可能使合成模式与真实信号失配。可检验的小实验是在固定 Cross-subject 划分下,对比加入与不加入 EEG 基元合成的同一预测模型,使用相同预测窗口及误差指标评估;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其基于 temporal primitives 与 relational primitives 的数据合成及通道角色建模,是否能改善多变量预测的泛化;摘要报告的基准排名及其向 EEG 迁移的价值仍需分别验证。

来源:arXiv · 时序与音频基础模型 · arxiv.org