最大编码率缩减在分布外泛化中的局限
On the Limits of Maximal Coding Rate Reduction for Out-of-Distribution Generalisation
基于摘要分析。本文研究最大编码率缩减(MCR²)的分布外(OOD)泛化边界,核心贡献是构造反例,说明编码目标达到最优或接近最优,并不保证表征依赖稳定的预测特征;直接引入 IRM、REx 背后的不变性原则,也不足以排除此类失败。 MCR² 是一种信息论表征学习框架,用于学习具有类别判别性的子流形结构,并启发了可解释白盒架构。作者报告,即使存在完全稳定的特征,仅依赖不稳定环境特征的表征仍可达到全局编码最优,却在环境相关性反转后完全预测失败。该精确最优反例包含训练时不可能出现的测试输入。作者进一步报告,即使所有可能的测试输入在训练时也均有可能出现,编码质量仍可任意接近最优,同时预测错误率任意接近 100%;这是反例中的理论极限描述,不是具体数据集上的实测分数。 对于不变性约束,作者报告,失败表征可以在不同训练环境中共享同一个最优编码算子,因此“共享编码最优性”不等于稳定预测关系。该结论针对摘要所述的不变性引入方式,不宜扩展为所有 IRM、REx 方法均无效。作者认为,可靠的 MCR² OOD 保证需要额外假设或新的学习原则。具体证明条件、算子定义、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 跨被试或跨会话分类中,环境相关伪迹与标签形成不稳定关联,类似机制可能使高编码质量掩盖对伪迹的依赖。可检验的假设是:在保留任务相关信号的同时,为训练数据注入与类别相关的可控伪迹,并在测试时反转其关联,比较 MCR² 编码目标与分类错误的变化。可复用编码目标及表征评估方式,但需明确环境划分、伪迹生成与稳定信号定义;低信噪比、通道变化和小样本可能使真实稳定特征难以辨认。该实验仅检验机制是否可迁移,不构成 EEG 有效性证据;已有 EEG 相关工作尚未检索确认。
该研究通过反例区分编码目标最优与跨环境预测稳定性,值得用于审视 MCR² 及相关可解释表征的域泛化依据,但不能据此断言其在 EEG 上必然失效。
来源:OpenReview · Representation learning · openreview.net