跳到正文
OpenReview · Representation learning· Haiyi Mao; Hongfu Liu; Jason Xiaotian Dou; Panayiotis V. Benos·· 2022-01-01精选AI 评分74

面向跨模态因果结构与表征学习

Towards Cross-Modal Causal Structure and Representation Learning

AI 导读

基于摘要分析。本文研究非结构化图像与结构化标量变量之间的因果发现,提出 Cross-Modal Variational Causal representation and structure Learning(CMCL),联合学习低维图像表征与因果结构。原始研究对象是图像—标量关系,摘要以 SARS-CoV-2 与胸部 X 光磨玻璃影、IDH-mutation 与 MRI 图像差异作为问题示例,并非 EEG 或 BCI 方法验证。 机制上,CMCL 是包含两个模块的摊销变分算法,将图像潜在表征和结构化变量纳入有向无环图,并在给定一组相互独立的结构化变量的条件下学习可识别表征及因果关系;另对表征施加反事实不变性/变化性约束。两个模块的具体分工、独立性与可识别性的完整假设、约束实现和优化细节尚未验证。 作者报告,CMCL 在合成数据集上优于相关方法,并通过可视化在半合成数据集上验证因果关系。摘要未提供数据集名称、样本规模、划分协议、对照方法或量化指标;实验协议、消融及统计信息尚未验证。上述证据不能直接确立真实临床数据中的因果关系。 平台推测(待验证):其图像潜变量与结构化变量联合建图的机制,可作为研究 EEG 时频表征与实验变量关系的候选思路;但需要改造 EEG 编码模块,核对结构化变量独立性、混杂因素及因果可识别性假设。低信噪比、被试与通道差异、小样本均可能使潜变量偏向伪相关。一个可证伪的小实验是在已知生成因果图的合成 EEG 时频数据上,比较加入与移除反事实约束后的结构恢复及干预响应一致性;该实验仅检验机制,不代表真实 EEG 因果有效性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何将图像表征可识别性、因果结构学习与反事实约束联合建模,但摘要中的验证限于合成及半合成数据,不能据此确认真实医学因果关系或 BCI 适用性。

来源:OpenReview · Representation learning · openreview.net