跳到正文
OpenReview · Representation learning· Olawale Elijah Salaudeen; Nicole Chiou; Sanmi Koyejo·· 2024-10-30精选AI 评分78

论域泛化数据集作为因果表征学习代理基准的适用性

On Domain Generalization Datasets as Proxy Benchmarks for Causal Representation Learning

AI 导读

基于摘要分析。本文研究在相关因果变量大多不可直接观测的高维现实数据中,域泛化性能能否可靠地代理评估因果表征学习。其主要贡献是提出理论条件,区分哪些域泛化任务更适合作为此类代理基准,而非提出新的表征学习模型。 核心依据是:因果表征预期能够抵抗干预带来的变化,但一般的分布偏移未必足以检验这种能力。作者给出的理论证据表明,当分布内(ID)数据中与标签或结果相关的非因果关联,在分布外(OOD)发生反转,或其信噪比充分降低时,域泛化任务可以成为可靠的因果表征学习代理。该条件针对的是非因果关联的变化,不能等同于任意 OOD 性能提升都意味着发现了因果变量。 作者报告,具有上述关联反转的基准,其 ID 与 OOD Accuracy 不呈现通常称为“accuracy on the line”的强正相关;作者还依据推导条件分析了现有先进域泛化基准,以识别有效的代理任务。摘要未列出具体数据集、模型、划分及数值结果,理论假设、实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一基准设计原则可能用于审查跨被试或跨会话 EEG 评估是否真正考验了稳健表征,而非仅利用稳定的非因果线索。可复用的是对非因果关联及其跨域变化的审查框架;需改造的是 EEG 中因果目标、混杂因素及域的定义。其应用依赖可识别或可控制的非因果因素与标签关联;低信噪比、小样本及被试、通道差异可能使关联反转与任务相关信息丢失难以区分。一个可证伪的小实验是,在固定标签任务与划分协议下,仅操控可控伪迹与标签的关联,比较关联保持、减弱及反转时模型的 OOD Accuracy,检验结论是否依赖伪迹而非任务信号。这不是已验证的 EEG/BCI 效果,相关 EEG 工作尚未检索确认。

阅读价值

该研究为判断域泛化基准能否代理评估因果表征学习提供了可核对的理论条件,并提示不能仅凭 ID 与 OOD 准确率的相关性认定模型学到了因果表征。

来源:OpenReview · Representation learning · openreview.net