线性表征假说与大语言模型的几何

基于摘要分析。本文研究大语言模型中的高层概念如何以表征空间中的方向被线性编码，以及余弦相似度、投影等几何操作应采用何种内积。其核心贡献是借助反事实分别形式化输出（词）表征空间与输入（句子）空间中的线性表征，并引入尊重语言结构的非欧氏“因果内积”，统一相关概念。 机制与证据：作者分别将两类形式化与线性探测、模型引导建立理论联系，并说明如何利用反事实对构造探针与引导向量。这里的重要区别是：几何解释不仅依赖所选方向，也依赖衡量方向关系的内积，不能默认欧氏几何具有相同解释。作者报告，在 LLaMA-2 上的实验支持概念线性表征的存在、其与解释和控制的联系，以及内积选择的重要性。摘要未提供具体概念集合、反事实对构造方式、评估划分、指标或数值；理论假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该方法可能为 EEG 表征中的概念方向分析提供假设，但原论文对象是语言模型，并未验证 BCI 效果。迁移需要能将目标因素与其他变化尽量分离的配对数据或监督；可借鉴的是反事实配对、方向构造及内积比较，需改造的是 EEG 中概念与反事实关系的定义，以及内积的估计方法。低信噪比、通道差异和小样本可能使方向主要反映被试身份或会话变化，而非目标因素。一个可证伪的小实验是在固定 EEG 编码器上，以训练被试的匹配条件试次构造候选方向，比较欧氏内积与候选替代内积在留出被试上的线性探测表现及方向稳定性；这只能检验迁移假设，不能预设语言结构相关的理论保证仍然成立。已有 EEG 相关工作尚未检索确认。