当多模态不再有帮助:表征条件下的残余模态效用审计
When Multimodality Stops Helping: Auditing Representation-Conditioned Residual Modality Utility
基于摘要分析。本文研究辅助模态何时能改善预测,核心观点是:模态价值取决于主表征已经学到什么,而不是辅助模态自身的固定属性。作者提出 Incremental modality gain(IMG)与 Residual modality utility(RMU),分别衡量实际预测增益和辅助信号对主模型残余错误的解释能力。 IMG 在匹配的低容量预测头族下,衡量加入辅助模态带来的测试风险下降,并另设参数量控制。RMU 则考察辅助信号中无法由主表征预测的部分,是否能够解释主模型留下的目标误差。作者指出,跨模态可预测性既不意味着条件充分性,也不保证实际增益;RMU 是受模型容量条件约束的诊断量,不是条件互信息或普适的充分性检验。 作者在临床青光眼结构—功能任务、CMU-MOSI 和 AV-MNIST 上,比较从较弱或通用表征到更贴近任务表征的不同层级。作者报告,IMG 主要出现在较弱或适配不足的表征上,在更强、更适配的表征上趋近于零;RMU 与实际增益在各领域均相关,合并分析采用 seed-cluster bootstrap,Spearman ρ = 0.651,95% CI [0.483, 0.825],两个公开基准的分领域置信区间均不包含零。作者还报告,该关系经负对照、缺失性及容量控制后仍成立,另对七个临床骨干模型的独立扫描呈现相同模式。具体样本量、划分、残差估计程序、对照实现及统计细节尚未验证。 平台推测(待验证):该机制可用于检验 EEG 与辅助模态融合时,新增信息是否真正补充了主表征,而非仅增加容量。迁移依赖配对多模态数据及目标监督,可复用增益审计与容量控制思路,但需针对 EEG 的低信噪比、通道差异和跨被试变化调整残差估计。小数据可能使残差估计不稳定,并将噪声误作有用信息。一个可检验的小实验是,在固定跨被试划分、匹配预测头容量的条件下,比较不同适配程度 EEG 表征的 IMG,并检验 RMU 能否预测留出被试上的融合收益。此为迁移假设,非本文已验证结果;已有 EEG 相关工作尚未检索确认。
本文将辅助模态的实际增益与主表征尚未解释的残余信息联系起来,并区分跨模态可预测性与预测收益,值得用于审视多模态融合的必要性;其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net