跳到正文
OpenReview · Representation learning· Cheng HE; Xu Huang; Gangwei Jiang; Zhaoyi Li; Defu Lian; Hong Xie; Enhong Chen; xijie liang; Zhengzengrong; Patrick Lee·· 2026-01-26精选AI 评分73

GTM:用于增强时间序列数据表征学习的通用时间序列模型

GTM: A General Time-series Model for Enhanced Representation Learning of Time-Series data

AI 导读

基于摘要分析。该研究面向通用时间序列表征学习及多种下游任务适配,提出 General Time-series Model(GTM),以频域注意力捕获时间粒度感知特征,并通过混合掩码预训练统一重建与自回归目标。其主要研究对象是通用时间序列,而非专门的 EEG 或 BCI 数据。 机制方面,摘要将频域注意力、混合掩码、2D 位置编码与片段打乱(span shuffling)列为核心设计;作者认为这些设计可增强表征的鲁棒性与泛化能力。频域注意力如何表示不同时间粒度、重建与自回归目标如何组合,以及位置编码和片段打乱作用于哪些维度,尚未验证。作者将 GTM 称为首个不依赖具体生成任务的时间序列模型,并称其无需任务特定修改即可适配多种生成任务;这一优先性主张及适配边界需结合全文核对。 作者报告,GTM 在所评估的多种生成任务上优于 SOTA 模型,经过少量适配也取得较强分类结果,并随模型规模和预训练数据增加呈现准确率提升。摘要未提供任务名称、数据集、数据划分、基线、具体指标数值或规模范围,因此不能据此判断收益大小及不同协议下的可比性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):频域注意力与时间粒度感知机制可能对应 EEG 中跨频段、跨时间尺度的表征需求,混合掩码预训练则可能用于利用未标注 EEG。可考虑复用预训练目标与注意力思路,但需核对其输入数据结构、监督形式及预训练规模要求,并适配 EEG 的采样率、通道结构与频谱特性。低信噪比、伪迹、跨被试差异及小数据可能削弱收益;片段打乱还可能破坏任务相关时序。一个可检验的小实验是在固定跨被试划分与相同未标注数据条件下,对比完整 GTM 与不含频域注意力的对照,评估下游分类及噪声扰动下的表现。该方案不代表已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 GTM 的频域注意力与统一重建、自回归目标的混合掩码机制,尤其是其跨生成任务适配条件;摘要中的性能与规模扩展结论尚需全文实验验证。

来源:OpenReview · Representation learning · openreview.net