Divide and Contrast:无需数据增强的鲁棒时序特征学习
Divide and Contrast: Learning Robust Temporal Features without Augmentation
基于摘要分析。本文研究时间序列自监督表征学习中的计算成本及增强假设适用性问题,提出无监督框架 Divide and Contrast(Di-COT),以窗口内部的信息性子结构而非单个时间步作为对比对象,避免数据增强和多次编码器前向计算。 核心机制是在每次迭代中,将各时间窗口随机划分为少量相互重叠的子块,在子块之间构建对比。作者认为,这种设计能形成更有意义的对比,并缓解时间状态转变时的假阳性配对问题。其对比目标的计算取决于批大小与子块数量,因此损失计算不依赖序列长度;这一性质不能直接等同于编码或整体训练成本与序列长度无关。具体子块采样方式、正负样本定义及损失形式尚未验证。 作者报告,在六个大规模真实世界数据集以及 UCR、UEA 基准上的实验中,Di-COT 学到了可迁移表征,达到作者所称的最先进性能,并显著缩短训练时间。摘要未提供具体数据集名称、任务、划分协议、对照方法、性能数值或计时条件,实验协议、消融及统计信息尚未验证。 平台推测(待验证):窗口内子块对比可能为 EEG 提供一种减少人工增强依赖的自监督路径,尤其适合检验局部时间结构能否支持表征学习。但其依赖子块具有足够信息、对比关系能够反映有效动态;低信噪比、短暂事件、通道差异及跨被试非平稳性都可能使子块对比偏向噪声或错误语义。可复用子块采样与对比目标,EEG 输入编码、通道处理及窗口尺度则需适配。一个可检验的小实验是在固定 EEG 数据划分、编码器与训练预算下,对比子块对比和增强式对比学习,分别记录下游任务表现、训练耗时及不同窗口长度下的变化,并将被试内与跨被试结果分开报告。已有 EEG 相关工作尚未检索确认。
值得核对 Di-COT 如何通过窗口内子块对比避免数据增强与多次编码器前向计算,以及其损失计算效率是否能转化为不同序列长度下的整体训练收益;EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net