跳到正文
OpenReview · Representation learning· En Fu; Yanyan Hu·· 2025-04-11精选AI 评分76

频率掩码嵌入推断:一种用于时间序列表征学习的非对比方法

Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning

AI 导读

基于摘要分析。本文针对自监督时间序列表征学习中正负样本构造困难及其可能引入偏差的问题,提出非对比方法 Frequency-masked Embedding Inference(FEI),以频率掩码和嵌入推断建模时间序列的连续语义关系,而不依赖正负样本构造。 核心机制是基于提示策略建立两个推断分支:一是以频率掩码为提示,在嵌入空间中推断缺失频带的目标序列表征;二是以目标序列为提示,推断其频率掩码嵌入。其区别于对比方法的关键,是将学习目标转向序列表征与频率掩码信息之间的推断关系。具体损失形式、掩码生成方式及避免表征坍塌的机制尚未验证。 作者报告,在 8 个常用时间序列数据集的分类与回归任务中,采用线性评估和端到端微调时,FEI 的泛化表现显著优于已有对比方法。摘要未提供数据集名称、划分协议、具体基线、指标数值或统计检验细节,因此尚不能判断优势的幅度及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,频率掩码推断可能帮助 EEG 自监督学习减少对人工正负样本配对的依赖。但原研究对象是通用时间序列,摘要未确认包含 EEG;已有 EEG 相关工作尚未检索确认。可复用的是频率掩码与嵌入推断思路,需针对 EEG 的采样率、任务频带和多通道关系调整掩码及输入处理。低信噪比、跨被试频谱差异、通道配置变化与小数据可能使模型学习伪迹或丢失任务相关信息。一个可证伪的小实验是在固定 EEG 跨被试划分下,以相同编码器和预训练数据比较 FEI、对比学习及无频率掩码变体,并用线性评估检验收益是否来自该机制;这属于迁移验证建议,并非论文已报告结果。

阅读价值

值得关注其通过频率掩码与双向嵌入推断替代正负样本构造的自监督机制,但泛化优势的具体评估协议及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net