正交自注意力

基于摘要分析。本文研究无跳跃连接架构中 Softmax Self-Attention（SSA）可能引发的秩坍缩与 Jacobian 条件不良问题，提出 Orthogonal Self-Attention（OSA），旨在使不含跳跃连接和归一化层的非因果 Transformer 更易训练。主要研究对象是通用注意力机制，而非 EEG 或 BCI。 OSA 从 query-key 值构造斜对称矩阵，再通过矩阵指数将注意力矩阵参数化为正交矩阵。作者报告，利用 query-key 的低秩结构，可使 OSA 的计算复杂度和内存开销随序列长度线性增长；这一表述限定于序列长度维度，具体实现、其他维度的开销及实际运行效率尚待全文核对。作者还提出初始化方案，并称证明该方案可确保 OSA 的 Jacobian 条件良好；证明假设与适用范围尚未验证。摘要未提供数据集、评估协议、性能指标或对照结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 的时间片段或通道组织为 token，OSA 的正交混合机制可能为研究深层编码器中的表征秩退化与梯度传播提供切入点，但原领域的理论性质不等于 EEG 解码有效。可复用模块是注意力参数化及初始化，需适配 EEG 的 token 构造、位置表征与读出方式；摘要所述非因果设定也不能直接用于严格在线解码。低信噪比下保留信号能量不等于抑制噪声，跨被试差异、通道配置变化与小数据条件仍可能使收益消失。一个可证伪的小实验是在固定 EEG 数据划分、相同编码器骨架及训练预算下，仅替换 SSA 与 OSA，同时测量表征有效秩、梯度稳定性和任务指标，以检验数值性质改善是否伴随解码收益。已有 EEG 相关工作尚未检索确认。