线性表征假说与大语言模型的几何

基于摘要分析。本文研究大语言模型中“高层概念以表征空间中的方向线性表示”究竟意味着什么，以及如何为余弦相似度、投影等几何操作赋予合理含义。核心贡献是通过反事实分别形式化输出（词）表征空间与输入（上下文）空间中的线性表征，并引入尊重语言结构的 causal inner product（因果内积）。 机制上，作者证明上述两种形式化分别与 linear probing（线性探针）和 model steering（模型引导）相联系，再通过特定的非欧几里得内积统一不同的线性表征概念。这一框架允许利用反事实样本对构造探针与引导向量，强调解释和控制不仅取决于概念方向，也取决于如何定义空间中的内积。 作者报告，在 LLaMA-2 上的实验支持概念线性表征的存在、其与解释和控制的联系，以及内积选择的关键作用。摘要未提供具体概念集合、反事实样本构造、模型规模、评估划分、对照和量化指标；实验协议、消融及统计信息尚未验证，不能据此推断所有概念均可线性表示。 平台推测（待验证）：若 EEG 表征中能构造可靠的概念反事实对，该框架可能用于检验线性探针读出的方向是否对应目标因素，而非被试或采集条件。但其语言结构假设不能直接移植；可复用的是反事实配对与几何检验思路，需改造的是 EEG 配对规则及内积估计。EEG 低信噪比、跨被试与通道差异，以及小样本下不稳定的几何估计均可能导致失败。一个可证伪的小实验是在固定 EEG 编码器下，以训练集中的匹配条件样本对估计概念方向和候选内积，与欧几里得内积比较独立留出被试上的探针表现及方向稳定性；若优势不稳定，则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。