注意力机制中归一化的局限性

基于摘要分析。本文研究 softmax 归一化对注意力机制选择能力的限制，通过理论框架分析 token 选择中的几何分离，并以预训练 GPT-2 的实验检验理论结果；主要研究对象是通用注意力机制，而非 EEG 或 BCI。 核心机制：作者建立了识别模型选择能力与 token 几何分离的理论框架，给出 softmax 缩放下 token 向量距离的显式界限及分离判据。摘要未提供具体公式、假设条件或温度参数定义，因此尚不能确定这些界限适用于哪些注意力配置。 作者报告，在预训练 GPT-2 的实验条件下，随着被选中 token 数量增加，模型区分信息性 token 的能力下降，选择模式往往趋向均匀；作者还报告，softmax 归一化的梯度敏感性会带来训练挑战，尤其在低温设置下。摘要未给出任务、数据、选择数量范围、对照基线或定量指标，实验协议、消融及统计信息尚未验证。上述结果不能直接外推至所有注意力模型，也不构成替代归一化策略已经有效的证据。 平台推测（待验证）：若 EEG 模型以时间片段或通道作为 token，并依赖 softmax 注意力筛选任务相关信息，该分析可能帮助检验长序列中信息选择是否退化。可复用的是 token 分离与注意力集中程度的分析思路；需改造的是 token 表征、任务相关性定义及其与 EEG 监督信号的对应关系。低信噪比、跨被试差异、通道配置变化和小数据条件可能使几何分离不足，或使注意力集中程度无法代表有效信息选择。一个可检验的小实验是在固定被试内划分和同一模型下，分别改变输入 token 数与 softmax 温度，测量注意力分布、梯度敏感性及任务指标，核对三者是否共同变化；这属于迁移假设，并非本文已验证结果。已有 EEG 相关工作尚未检索确认。