跳到正文
OpenReview · State space models· Shengzhong Liu; Tomoyoshi Kimura; Dongxin Liu; Ruijie Wang; Jinyang Li; Suhas Diggavi; Mani Srivastava; Tarek Abdelzaher·· 2023-09-22精选AI 评分76

FOCAL:在因子化正交潜在空间中对多模态时间序列传感信号进行对比学习

FOCAL: Contrastive Learning for Multimodal Time-Series Sensing Signals in Factorized Orthogonal Latent Space

AI 导读

基于摘要分析。本文研究多模态时间序列传感信号的自监督表征学习,提出 FOCAL,以同时保留跨模态共享信息、模态独有信息及时间局部结构,回应主要依赖模态间共享信息的对比学习框架可能遗漏私有特征的问题。原研究对象是通用多模态传感时间序列,摘要未明确涉及 EEG 或 BCI。 核心机制是将每个模态编码到由共享特征与私有特征组成的因子化潜在空间,并使两者相互正交。共享空间通过 modal-matching objective 强调不同模态之间一致的特征模式;私有空间通过 transformation-invariant objective 提取模态独有信息。另一个约束要求时间相邻样本的平均特征距离不大于时间相隔较远样本的平均距离,以显式保留时间局部结构。具体损失形式、变换类型、正交约束实现及时间邻域定义尚未验证。 作者报告,在四个多模态传感数据集上,使用两种骨干编码器和两种分类器,在不同可用标签比例下,FOCAL 的下游任务表现持续优于所比较的先进基线。摘要未提供数据集名称、具体任务、评估指标、分数或划分协议,因此无法量化收益或判断不同设置之间的可比性;实验协议、消融及统计信息尚未验证。摘要提供了代码与自采集数据集地址,但实现细节、运行依赖和数据访问条件尚未核对。 平台推测(待验证):若 EEG 与其他同步传感模态既含共同状态信息,也含各自独有的任务线索,这种共享—私有分解可能有助于减少单纯模态对齐造成的信息丢失。该假设依赖多模态数据的时间对应关系及有意义的局部连续性,可复用分解与对比目标,但需针对 EEG 调整编码器、信号变换和时间窗口。低信噪比可能使私有空间保留伪迹,跨被试差异、通道变化和小样本也可能削弱分解稳定性。一个可检验的小实验是在固定 Cross-subject 划分及相同标签预算下,对比仅共享表征与共享—私有分解,并单独移除时间约束,检验各模块是否带来稳定收益。已有 EEG 相关工作尚未检索确认。

阅读价值

FOCAL 将跨模态共享信息、模态私有信息与时间局部结构分别建模,值得核对其正交分解和对照实验能否解释下游收益,但其对 EEG/BCI 的有效性尚未验证。

来源:OpenReview · State space models · openreview.net