语言模型注意力空间中的涌现结构

基于摘要分析。本文研究独立训练的语言模型是否在注意力内部机制上存在共同结构，并提出对 softmax 后的注意力权重沿 query 位置进行边际化，构建联合 token-head 的“边际注意力空间”。贡献包括识别跨模型与跨文档保持稳定的不同结构，以及利用这些结构分离 KV cache 驱逐中的逐头预算分配和 token 评分。 作者报告，在超过 60 个不同 LLM 的评估中，沿 token 轴约简得到的边际注意力呈现跨模型稳健保持的文本内在信号；沿 head 轴约简则得到跨文档保持稳定的模型特有签名。摘要未列出模型清单、具体约简公式和稳定性指标，相关细节尚未验证。 机制解释方面，作者通过经验分析将边际注意力与网络的输入—输出 Jacobian 联系起来，并在平滑性假设下给出理论保证：具有相似 next-token 分布的模型，其输入—输出 Jacobian 统计量也相似。该保证具有明确的假设条件，不能扩展为任意模型的注意力权重必然一致；平滑性条件、分布相似性的定义及统计量形式需核对正文。 应用方面，作者在预训练文本上离线预计算逐头 KV cache 预算，再结合无需训练的 token 评分进行缓存驱逐。作者报告，在标准驱逐基准上，该组合与逐文档重算预算或针对目标训练预算的方法具有竞争力。摘要未提供基准名称、缓存容量、任务指标和具体分数，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 序列模型采用注意力和自回归 KV cache，可检验“离线逐头预算与在线 token 评分解耦”的假设，但语言模型的 next-token 监督和文本统计规律不等同于 EEG 信号结构。可复用的是预算分配思路，需改造的是通道／时间片 token 评分与目标任务；低信噪比、跨被试或跨通道变化、小数据条件可能使离线预算失效。一个小实验是在同一 EEG 模型、相同缓存容量及固定数据划分下，对比离线逐头预算与逐样本重算预算的任务性能和推理开销。已有 EEG 相关工作尚未检索确认。