通过扩散过程与插补–插值–预测掩码进行时间序列表征自监督学习
Self-Supervised Learning of Time Series Representation via Diffusion Process and Imputation-Interpolation-Forecasting Mask
该研究面向通用时间序列表征学习,提出 Time Series Diffusion Embedding(TSDE),将条件扩散与自监督掩码学习结合,使学习目标不局限于插补或预测等单一应用。基于摘要分析,作者将其定位为首个基于扩散的自监督时间序列表征学习方法;这一优先性主张尚未独立核验。 机制上,TSDE 使用 Imputation-Interpolation-Forecasting(IIF)掩码将时间序列划分为观测部分和掩码部分。可训练嵌入函数利用带 crossover 机制的双正交 Transformer 编码器处理观测部分,再以所得嵌入为条件训练反向扩散过程,预测施加在掩码部分上的噪声。其方法重点是借助条件去噪任务学习通用表征,而非仅将扩散模型用于生成缺失值或未来序列;具体掩码构造、编码轴、损失形式及下游适配方式尚未验证。 作者报告,TSDE 在插补、插值、预测、异常检测、分类和聚类任务中优于所比较的方法,并开展了消融、嵌入可视化及推理速度比较。摘要未提供数据集、数据划分、基线、指标或数值,因此尚不能判断优势幅度与适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,观测片段条件下的掩码去噪表征可用于 EEG 缺失片段建模及标签有限的分类任务。可复用模块包括 IIF 掩码与条件噪声预测目标,但需适配 EEG 通道结构、采样尺度和掩码跨度,并核对其对多变量数据结构及训练规模的依赖。EEG 的低信噪比、跨被试差异、通道变化和小数据规模可能使模型主要拟合伪迹或个体特征。一个可证伪的小实验是在固定跨被试划分下,仅用训练被试数据进行自监督训练,以相同标注预算和分类头比较 TSDE 表征与重建式掩码表征,并分别报告干净输入及模拟通道缺失条件下的表现。已有 EEG 相关工作尚未检索确认。
值得核对 TSDE 如何以统一的 IIF 掩码和条件扩散目标学习可服务多类任务的时间序列表征,但其相对优势及向 EEG 迁移的有效性尚需具体实验协议验证。
来源:OpenReview · Representation learning · openreview.net