跳到正文
OpenReview · Representation learning·· 2026-09-15精选AI 评分77

结构遵循因果:因果对齐的表征分离打破多任务学习中的正交霸凌

Structure Follows Causality: Causally-Aligned Representation Separation Breaks Orthogonal Bullying in Multi-Task Learning

AI 导读

基于摘要分析。本文研究具有因果级联关系的多任务学习:上游输出影响下游任务时,共享表征可能使强任务反复破坏弱任务的学习。作者提出 Causal Graph Architecture(CGA),依据给定因果 DAG 为各节点建立独立模块,并用 stop-gradient 切断冲突的梯度路径,使计算图与任务因果结构对齐。 作者将梯度近乎正交且范数严重失衡时的干扰称为“正交霸凌”,其理论范围涉及 SGD 类优化器、稀疏高维下游任务及非相干耦合矩阵等条件,并非所有多任务学习场景。摘要称,纯曲率驱动的擦除可以构造实现,但只存在于暂态窗口,且在所考察的 MLP 家族中不可达;强耦合下还存在霸凌不激活的保护区间。 复杂度比较具有关键前提:平坦共享基线联合训练时,必须满足下游任务损失每一步均不增加的保护约束。在该协议及理论假设下,作者报告,CGA 达到上游精度 ε 的迭代复杂度从 O(κ_g² log(1/ε)) 降至 O(log(1/ε))。作者同时指出,两者共享信息论误差下限,收益来自机制表征分离,而非更低的统计下限。 在受控合成结构因果模型的 12 种配置、3 个随机种子实验中,作者报告 CGA 达到单任务误差下限,T2 为 0.10–0.12、T1 为 0.13,标准差不超过 0.003;摘要未明确这些误差的度量定义。真实大规模 OD 数据的预注册探索比较采用相同防塌缩方案、仅一个随机种子:作者报告 flat joint、无 flow 输入的单任务 OD、CGA 分别为 62.1%、61.2%、42.7%,但摘要未明确该组百分比的指标名称。19.4 个百分点的差距仍待多随机种子确认。生产地铁系统日志仅作为研究动机,不构成机制验证,不能与受控实验直接等同。 平台推测(待验证):若 EEG 多任务确有可独立支持的有向依赖,可假设模块分离与 stop-gradient 能缓解共享梯度干扰;这依赖可信的任务因果图,而不能仅凭标签相关性设定方向。可复用梯度诊断和阻断机制,但须改造 EEG 编码器与任务接口。低信噪比、跨被试差异和小数据可能使因果方向或梯度估计不稳定,分离也可能损失有益共享。小规模检验可在相同编码器、数据划分和训练预算下比较共享模型、模块分离模型及加入 stop-gradient 的模型,同时记录各任务误差与梯度夹角。已有 EEG 相关工作尚未检索确认;全文证明、实验协议、消融及统计信息尚未验证。

阅读价值

值得核对其将因果机制分离与梯度路径切断相结合的论证,尤其是加速结论的保护约束、负结果和真实数据单随机种子验证边界;其 EEG/BCI 价值尚未验证。

来源:OpenReview · Representation learning · openreview.net