通过时频一致性进行时间序列自监督对比预训练
Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency
基于摘要分析。本文研究通用时间序列预训练中的源域与目标域不匹配问题,提出 time-frequency consistency(TF-C,时频一致性),通过对齐同一样本的时域与频域邻域表征,学习可迁移的表示;预训练阶段不需要访问目标域样本。 核心机制是构建可分解的预训练模型:时间与频率成分分别通过对比估计训练,并以两者之间的距离提供自监督信号,使样本的时域邻域与频域邻域在时频表示空间中接近。其出发点是利用同一时间序列在两种视角下的对应关系,缓解时间动态、快速变化趋势及长短周期效应不同造成的迁移困难。具体编码器、频域变换、邻域构造、损失形式及微调配置尚未验证。 作者报告,在涵盖电诊断检测、人体活动识别、机械故障检测和身体状态监测的八个数据集上,与八种基线方法比较:一对一迁移设置下,例如 EEG 预训练后在 EMG 数据上微调,平均 F1 提升 15.4%;一对多迁移设置下,例如将 EEG 预训练模型分别微调用于手势识别或机械故障预测,平均 precision 提升 8.4%。摘要未明确这些百分比是相对增幅还是百分点差值,也未提供逐数据集结果、数据划分及被试协议,因此不能据此推断跨被试 EEG 或 BCI 性能。作者提供了代码与数据的公开地址,实验协议、消融及统计信息尚未验证。 平台推测(待验证):时频一致性可能为 EEG 中时域动态与频谱信息的联合预训练提供可复用约束,但通用时间序列迁移有效不等于 BCI 有效。迁移时需核对频域表示及增强是否保留任务相关信息,并处理通道配置、采样条件和被试差异;低信噪比下也可能对齐伪迹而非有效神经信号。一个可检验的小实验是在固定跨被试划分、相同编码器和训练预算下,对比完整 TF-C、仅时域对比预训练及去除时频一致性约束的配置,检验该约束是否带来稳定收益。已有相关 EEG 工作尚未检索确认。
TF-C 以时域与频域表征的一致性应对预训练域与目标域的时间动态差异,并提供代码与数据,值得核对其跨数据集迁移协议,但摘要中的汇总收益不能直接视为 EEG/BCI 下游任务的已验证提升。
来源:OpenReview · EEG · openreview.net