FOCAL:在因子化正交潜在空间中对多模态时间序列传感信号进行对比学习
FOCAL: Contrastive Learning for Multimodal Time-Series Sensing Signals in Factorized Orthogonal Latent Space
基于摘要分析。FOCAL 面向多模态时间序列传感信号的自监督特征学习,试图解决现有多模态对比学习偏重模态间共享信息、未显式保留模态独有信息,以及时间局部性处理不足的问题。核心贡献是将共享与私有特征分解到正交的潜在空间,并引入时间结构约束。 机制上,每个模态被编码为共享特征和私有特征,两者相互正交。共享空间通过 modal-matching objective 强调不同传感模态间一致的特征模式;私有空间通过 transformation-invariant objective 提取模态独有信息。时间结构约束要求时间邻近样本的平均距离不大于时间较远样本的平均距离。具体损失公式、正交约束实现、变换类型及时间邻域定义尚未验证。 作者报告,在四个多模态传感数据集上,使用两种骨干编码器和两种分类器进行评估,FOCAL 在不同可用标签比例下的下游任务中持续优于所比较的先进基线。摘要未提供数据集名称、划分协议、具体指标及分数,因此无法判断提升幅度或跨设置可比性。作者称代码与自行采集的数据集已公开,但复现依赖、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其共享—私有分解可能适用于具有时间对齐关系的 EEG 与其他传感模态联合表征,但原领域效果不等于 BCI 有效。可复用潜在空间分解和时间约束,需改造信号编码器、数据增强及时间邻域定义;低信噪比、跨被试差异、通道配置变化和小数据可能使私有空间保留伪迹,或使时间约束混淆相邻但任务状态不同的片段。一个可检验的小实验是在固定跨被试划分与标签预算下,对比完整 FOCAL、仅共享表征及移除时间约束的版本,检验私有特征和时间约束是否带来稳定收益。已有 EEG 相关工作尚未检索确认。
FOCAL 将跨模态共享信息与模态私有信息分开建模,并约束时间邻近关系,值得核对其能否避免多模态对比学习忽略模态独有信号;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net