跳到正文
OpenReview · Representation learning· Zihan Liu; Bowen Du; Junchen Ye; Xianqing Wen; Leilei Sun·· 2024-01-01精选AI 评分72

基于 NCDE 的时间序列通用表征学习框架

An NCDE-based Framework for Universal Representation Learning of Time Series

AI 导读

基于摘要分析。该研究面向通用时间序列表征学习,提出 CTRL:以 Neural Controlled Differential Equation(NCDE,神经控制微分方程)为骨干,结合重建与对比学习双任务自监督,旨在同时改善表征对多种下游任务的适用性以及对缺失数据的鲁棒性。原论文研究对象是通用时间序列,并非专门的 EEG 或 BCI 方法。 机制上,作者认为仅使用对比学习或生成式学习中的一种策略,难以获得适配不同任务的丰富语义信息。CTRL 通过双任务学习补充表征信息,并利用 NCDE 刻画连续时间过程;此外,引入困难负样本构造与假负样本消除机制,以提高对比学习的采样效率、降低采样偏差。具体损失形式、任务权重、输入路径构造及负样本判定规则尚未验证。 作者报告,CTRL 在预测、分类和缺失值填补任务中表现优于所比较方法,尤其体现出对缺失数据的鲁棒性。但摘要未提供数据集、划分协议、基线、指标及具体数值,无法据此判断优势幅度或适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,连续时间建模与双任务自监督可能适用于存在缺失时段的 EEG 表征学习。可复用的是 NCDE 骨干及双任务训练思路,需改造多通道输入、缺失掩码与对比样本构造;整段通道缺失不等同于时间点缺失,低信噪比、跨被试差异及小数据也可能削弱收益,甚至将生理相似样本误作负样本。一个可证伪的小实验是在固定跨被试划分下,逐级增加 EEG 缺失时段,比较 CTRL 与相同训练预算的单任务版本,联合观察分类指标和缺失值重建误差。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 CTRL 将 NCDE 连续时间建模与重建、对比双任务自监督结合,用于兼顾多种下游任务与缺失数据;其对 EEG 缺失通道或缺失时段的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net