注意力机制中归一化的局限性

基于摘要分析。本文研究 softmax 归一化如何限制注意力机制的 token 选择能力，贡献是建立描述选择能力与 token 几何分离的理论框架，并通过预训练 GPT-2 实验检验理论结论。研究对象是通用注意力机制，而非 EEG 或 BCI 系统。 理论分析给出了 softmax 缩放下 token 向量距离的显式界与分离判据。作者报告，在其预训练 GPT-2 实验设置中，随着被选择 token 数量增加，模型区分信息性 token 的能力下降，往往趋向均匀选择；作者还报告，softmax 归一化的梯度敏感性会带来训练困难，尤其是在低温度设置下。摘要未提供具体界的表达式、温度定义、数据集、评价指标或数值结果，实验协议、消融及统计信息尚未验证。论文据此提出需要更稳健的归一化与选择策略，但摘要未说明已验证新的替代方法。 平台推测（待验证）：若 EEG 模型将时间片段或通道编码为 token，并依赖 softmax 注意力筛选信息，该理论可能帮助分析长序列中弱信号的选择问题。这一假设依赖 EEG token 的向量几何、信息稀疏性及训练条件，不能由 GPT-2 结果直接推出。可复用的是距离与分离判据的分析思路；需重新界定 EEG token、信息性判据及任务监督。低信噪比、跨被试分布变化、通道差异和小数据条件可能使几何分离不足，且更尖锐的注意力未必带来更好的解码性能。 一个可检验的小实验是在固定 EEG 数据划分、模型容量与训练预算下，改变 token 数量及 softmax 温度，同时观察注意力分布、梯度稳定性和任务指标，检验选择趋于均匀是否伴随解码下降；需区分序列长度变化与信息内容变化的影响。相关 EEG 工作尚未检索确认。