联合训练,分散则败!同时在 75 个数据集上预训练的时间序列表征学习
United We Train, Divided We Fail! Representation Learning for Time Series by Pretraining from 75 Datasets at Once
基于摘要分析。本文研究来源与目标不匹配时,如何从多个异质时间序列数据集学习可复用表征,提出自监督对比预训练方法,使单一编码表征能够迁移到多个目标领域的分类等任务。 方法的核心是 XD-MixUp 插值方法与 Soft Interpolation Contextual Contrasting(SICC)损失,利用多个无标签、多样化时间序列数据集开展联合预训练。摘要未披露插值对象、样本配对规则、损失公式及编码器结构,这些机制细节尚未验证。 作者报告,在低数据条件下对目标任务进行微调时,该方法优于监督训练及其他自监督预训练方法,并报告可同时利用 75 个数据集进行预训练。摘要未提供具体数据集构成、目标任务划分、指标、提升幅度或统计不确定性,因此这一结果不能外推为所有时间序列任务均能受益。源域与目标域的关系、数据重叠情况、对照训练预算、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 对应点是利用多来源无标签记录缓解目标任务标注不足,但原领域结果不等于 BCI 有效。可复用的候选模块是插值与对比学习目标;输入适配、通道映射、采样率处理及增强方式需要结合 EEG 改造。假设插值能够保留任务相关结构,联合预训练可能改善低标注量迁移;低信噪比、跨被试差异、通道不一致及小数据微调也可能导致负迁移。一个可证伪的小实验是在固定编码器、目标标注量和训练预算下,对比多来源预训练、单来源预训练与从头监督训练,并固定跨被试划分以检验联合训练是否带来增益。已有 EEG 相关工作尚未检索确认。
该研究通过 XD-MixUp 与 SICC 探索多来源时间序列联合预训练,并报告低数据微调条件下的优势,值得核对其源域—目标域划分及对照协议;其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net