跳到正文
OpenReview · Representation learning· Jikai Jin; Vasilis Syrgkanis; Sham M. Kakade; Hanlin Zhang·· 2025-09-19精选AI 评分77

通过因果表征学习发现语言模型的层级潜在能力

Discovering Hierarchical Latent Capabilities of Language Models via Causal Representation Learning

AI 导读

基于摘要分析。本文研究如何从语言模型评估结果中提取可指导后训练的能力结构,提出利用公开观测数据识别潜在能力因果层级的表征学习框架,并以定向微调检验能力间的干预传播。 核心机制是将观测到的基准表现建模为少量潜在能力因子的线性变换;与仅解释成绩共变的因子分析不同,该框架进一步在控制基础模型这一共同混杂因素后,建模潜在能力之间的因果关系。摘要未交代混杂控制的具体实现、因果可识别性假设、结构估计方法及训练目标,这些是判断因果解释成立范围的关键核对项。 作者报告,在 Open LLM Leaderboard 中覆盖超过 1500 个模型、六项基准的数据上,识别出一个能够解释观测表现差异的三节点线性因果结构,其方向为一般问题求解能力→指令遵循能力→数学推理能力。作者还报告,定向微调父节点能力后,子节点能力会按模型预测发生变化,据此主张该结构可为后训练提供指导。摘要未给出具体基准名称、数据划分、微调对照、效应大小或不确定性;实验协议、消融及统计信息尚未验证,不能据此判断其跨模型家族或其他评估体系的稳定性。 本文的主要对象是语言模型能力与后训练,而非 EEG 解码或 BCI。材料未提供与神经信号任务的具体机制对应关系,因此不将该能力层级外推为已验证的 BCI 方法。复现首先需要核对模型谱系与基础模型信息、评估数据处理方式、因果识别假设,以及微调干预与潜在能力节点之间的对应关系。

阅读价值

值得核对其如何将基础模型作为共同混杂因素加以控制,以及定向微调能否支持所识别的能力因果层级;这决定了框架能否超越基准成绩相关性,为后训练提供可操作依据。

来源:OpenReview · Representation learning · openreview.net