通过扩散过程与填补-插值-预测掩码进行时间序列表征的自监督学习
Self-Supervised Learning of Time Series Representation via Diffusion Process and Imputation-Interpolation-Forecasting Mask
基于摘要分析。本文研究通用时间序列表征学习,提出 Time Series Diffusion Embedding(TSDE),将扩散过程从特定的填补、预测应用扩展为自监督表征学习目标。其主要研究对象是一般时间序列,而非专门的 EEG 或 BCI 信号。 机制上,TSDE 使用 Imputation-Interpolation-Forecasting(IIF)掩码,将时间序列分为已观测部分与被掩码部分;已观测部分经包含交叉机制的双正交 Transformer 编码器生成嵌入,再以该嵌入为条件训练反向扩散过程,预测添加到被掩码部分的噪声。核心思路是通过条件去噪任务约束嵌入,使其承载可用于多种任务的时序信息。摘要未展开两类正交编码的具体轴向、交叉机制、掩码采样方式及损失细节。 作者报告,TSDE 在填补、插值、预测、异常检测、分类和聚类任务中表现优于对照,并开展了消融、嵌入可视化和推理速度比较。但摘要未提供数据集、样本规模、划分协议、具体基线及指标数值,因此尚不能判断优势幅度、跨任务表征复用方式或效率适用条件;实验协议、消融及统计信息尚未验证。“首个基于扩散的自监督时间序列表征方法”是作者的定位,尚未独立核实。 平台推测(待验证):其条件去噪机制可能对应 EEG 中缺失片段恢复与无标签表征学习的需求,但原领域有效不等于 BCI 有效。可复用的是掩码训练与条件扩散目标,需核对并改造时间及通道编码、采样率适配和掩码尺度;低信噪比可能使去噪目标偏向伪迹,被试差异、通道布局变化及小数据也可能削弱迁移。一个可证伪的小实验是:在固定 EEG 数据及严格 Cross-subject 划分下,仅用训练被试进行自监督预训练,比较 TSDE 与匹配编码器的掩码重建基线在冻结表征分类中的表现,检验扩散目标是否带来稳定增益。已有相关 EEG 工作尚未检索确认。
值得核对 TSDE 如何通过 IIF 掩码与条件扩散学习通用时间序列表征,尤其是不同下游任务能否共享表征;其在 EEG 上的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net