跳到正文
OpenReview · Representation learning· Fan Wang; Hengyu Yue; Yu Bowen; Weiming Liu; Zongxin Yang; Xuyun Zhang; Xiaolin Zheng; Chaochao Chen; Shuiguang Deng·· 2026-05-01精选AI 评分77

Spiked-CFR:通过 Wasserstein 投影寻踪从 LLM 表征中学习因果表征

Spiked-CFR: Causal Representation Learning from LLMs via Wasserstein Projection Pursuit

AI 导读

基于摘要分析。该研究面向利用观察性文本估计处理效应的问题,提出 SPIKED-CFR,以缓解高维 LLM 嵌入中经验 Wasserstein 匹配的维数灾难。其核心贡献是在处理组与对照组的选择偏差主要集中于低维语义子空间的假设下,仅平衡该子空间,并推导依赖内在维度的泛化界。 机制上,作者将这一假设称为 Spiked Structure,并提出 Wasserstein Projection Pursuit:通过极小极大目标,在 Stiefel 流形上对抗式学习正交投影,以识别并平衡处理组与对照组之间的低维差异,同时保留与结局预测有关的信息。这里的低维结构是方法成立的关键前提,不能理解为任意高维 LLM 表征天然满足该条件。 理论方面,作者报告,在上述结构假设下,投影后差异的估计速率由内在维度 k 而非环境嵌入维度 D 主导,其中 k ≪ D;进一步得到依赖 k 的更紧 PEHE 泛化界。摘要未提供完整定理条件、界的具体形式或投影维度的选择方式,尚需正文核对。 实验方面,作者报告在四个半合成基准和四个真实世界临床基准上,相较强基线提高了准确性与鲁棒性。摘要未列出数据集名称、具体指标、数值、划分方式及对照方法,因此不能量化提升,也不能据此判断真实临床数据中的处理效应如何获得评估参照。实验协议、消融及统计信息尚未验证。 该方法的主要研究对象是文本因果效应估计,而非 EEG 解码或 BCI。其处理组—对照组平衡目标不能直接等同于跨被试域适应;当前材料未建立相应机制对应,尚未检索确认已有 EEG 相关工作,不据此推断 BCI 有效性。

阅读价值

值得核对其低维处理选择偏差假设如何支撑 Wasserstein 匹配与 PEHE 泛化界,以及该假设在临床文本数据中的适用性;摘要不足以确认具体效果或 EEG 迁移价值。

来源:OpenReview · Representation learning · openreview.net