通过交叉重建 Transformer 进行自监督时间序列表示学习

基于摘要分析。本文面向标签稀缺场景下的通用时间序列表示学习，提出 cross reconstruction transformer（CRT），通过时域与频域的交叉丢弃—重建任务学习表示，旨在减少对比学习对样本配对策略与先验知识的依赖，并建模时频关联；主要研究对象并非专门的 EEG 或 BCI 任务。 核心机制是先用快速傅里叶变换（FFT）获得频域表示，再随机丢弃时域和频域中的部分 patches，利用 Transformer 重建两个域的数据，称为 Dropped Temporal-Spectral Modeling。作者认为，相比掩码，丢弃操作更有利于保留全局上下文并避免掩码引起的分布偏移；这一解释仍需结合正文核对。CRT 另引入 instance discrimination constraint（IDC），旨在降低不同时间序列样本之间的互信息、强化全局潜在空间中的区分性，并采用 curriculum learning（CL），在预训练过程中逐渐提高丢弃比例以增强鲁棒性。具体损失形式、跨域交互方式及训练配置尚未验证。 作者报告，在多个真实世界数据集上，CRT 相比现有方法取得 2%–9% 的性能提升；但摘要未说明具体任务、指标、数据划分和对照基线，也未明确该范围是相对增幅还是百分点差值，因此不能据此进行定量横向比较。摘要提供了公开代码地址，但代码内容、复现条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，时频交叉重建可用于 EEG 无标签预训练，以学习波形与频谱之间的对应关系。可复用模块包括 FFT、双域丢弃重建和渐进丢弃策略；需针对多通道 EEG 调整分块、通道组织与重建目标。低信噪比可能使模型优先重建伪迹，被试差异、通道变化及小数据也可能削弱泛化；IDC 还可能把语义相近的不同试次过度分离。一个可证伪的小实验是在固定 EEG 数据集、相同无标签预训练数据和模型容量下，对比纯时域重建与时频交叉重建，采用被试隔离的 Cross-subject 划分评估冻结表示，并分别检验 IDC 与渐进丢弃的增益。已有 EEG 相关工作尚未检索确认。