Unembedding 桥梁：从隐状态移动到上下文学习预测

基于摘要分析。本文研究语言模型中上下文学习（ICL）的内部表征变化如何转化为输出预测变化，提出 unembedding（隐状态到词表输出的映射）连接了这两个层面：示例引起隐状态移动，而训练塑造的输出几何决定这种移动如何影响预测分布。 作者报告，在七个开放权重语言模型和七项分类任务中，ICL 最终隐状态相较配对的零样本状态，通常具有更高的平均 unembedding 对齐程度；输出几何则呈现按词频组织、谱能量集中的特征。摘要未列出模型、任务名称、对齐指标的具体定义或效应量，不能据此判断各任务上的分类性能收益。 机制上，作者结合合成模型训练、合成模型与 LLM 的比较及理论分析，指出当优化器逐行进行缩放时，交叉熵产生的吸引与排斥作用可以形成上述几何。作者进一步按任务的标签对比空间分解隐状态移动：标签空间内的分量降低平均对齐程度，因为示例标签指向平均 unembedding 方向的反向；正交分量提高平均对齐程度，并承载覆盖整个词表的分布偏移。作者报告，将标签重映射为非离群符号后，标签分量消失，而正交偏移仍然保留。 作者还通过定向消融、归因、概率变化和引导干预，将 induction heads 识别为隐状态移动的主要因果来源。其核心解释是训练提供输出几何、示例提供隐状态移动，两者相互作用产生 ICL 行为。模型与任务选择、配对协议、消融细节及统计信息尚未验证。研究对象是语言模型的 ICL 机制，摘要未提供 EEG 或 BCI 验证，不应将其结论直接解释为神经信号解码效果。