跳到正文
OpenReview · State space models· Shengzhong Liu; Tomoyoshi Kimura; Dongxin Liu; Ruijie Wang; Jinyang Li; Suhas N. Diggavi; Mani B. Srivastava; Tarek F. Abdelzaher·· 2023-01-01精选AI 评分77

FOCAL:在因子化正交潜在空间中对多模态时间序列感知信号进行对比学习

FOCAL: Contrastive Learning for Multimodal Time-Series Sensing Signals in Factorized Orthogonal Latent Space

AI 导读

基于摘要分析。FOCAL 面向多模态时间序列感知信号的自监督表征学习,试图同时保留跨模态共享信息、模态特有信息和局部时间结构,避免仅依赖模态间一致性而忽略有用的独有特征。 核心机制是将每种模态编码到由共享特征与私有特征组成的因子化潜在空间,并使二者相互正交。共享空间通过 modal-matching objective 强调跨模态一致的特征模式;私有空间通过 transformation-invariant objective 提取模态特有信息。此外,时间结构约束要求时间邻近样本的平均特征距离不大于时间相距较远样本的平均距离。相较于摘要所描述的既有方法,其主要贡献在于联合建模共享信息、私有信息与时间局部性;具体损失形式、变换类型及约束实现尚未验证。 作者报告,在四个多模态感知数据集上,使用两种骨干编码器和两种分类器,在不同可用标签比例下,FOCAL 的下游任务表现持续优于所比较的先进基线。摘要未提供数据集名称、任务、指标、具体分数或划分协议,因此不能量化增益或判断跨被试、跨会话泛化能力。作者提供了代码和自采集数据集的地址,但实现与数据可访问性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若用于具有同步采集条件的 EEG 多模态学习,共享/私有分解可能帮助保留 EEG 特有成分,同时学习跨模态关联;可复用的是潜在空间分解与时间约束,需改造的是信号编码、模态匹配和变换设计。该假设依赖可靠的时间对齐与共享事件结构;低信噪比可能使私有空间保留伪迹,跨被试与通道差异可能扰乱模态匹配,小数据也可能限制分解稳定性。可在同步 EEG 多模态数据上固定编码器、标签预算与跨被试划分,比较完整方法、仅共享对比学习及去除时间约束的版本,检验增益是否稳定。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得核对 FOCAL 如何通过共享与私有特征的正交分解保留模态特有信息,以及时间结构约束的实际增益;其对 EEG 多模态学习的适用性尚未验证。

来源:OpenReview · State space models · openreview.net