WavSpA：用于增强 Transformer 长序列学习能力的小波空间注意力

基于摘要分析。该研究面向通用 Transformer 的长序列学习，提出 Wavelet Space Attention（WavSpA），将注意力计算移至小波系数空间，以利用同时包含位置与频率信息的多分辨率表示；原论文并非 EEG 或 BCI 研究。 核心机制分为三步：先通过正向小波变换将输入序列投影到多分辨率基，再在小波系数空间学习注意力，最后通过逆小波变换重建输入空间表示。作者认为，相比 Fourier 表示，小波更适合保留位置与频率信息，并指出小波变换具有线性时间复杂度；这不能直接推导为整个 WavSpA 注意力模块或模型具有线性复杂度。摘要涉及固定与自适应小波，但可学习部分的具体参数化、训练目标及实现尚未验证。 作者报告，在 Long Range Arena 实验中，采用固定或自适应小波的空间注意力均能持续改善 Transformer 性能，并显著优于 Fourier 空间注意力；作者还报告，该方法可增强 LEGO chain-of-reasoning 任务中跨距离的推理外推能力。摘要未提供具体分数、任务划分、基线配置或显著性检验细节，实验协议、消融及统计信息尚未验证，不能据此量化增益或判断计算成本。 平台推测（待验证）：假设 EEG 长序列任务受局部非平稳时频模式与远距离依赖共同制约，小波多分辨率表示可能提供可检验的机制对应。可尝试复用正逆小波变换及系数空间注意力，需改造多通道输入表示、序列边界处理与尺度配置。原方法依赖有序序列结构，而其训练监督及规模需求尚未验证；低信噪比可能使细尺度系数放大噪声，被试与通道差异可能改变有效尺度，小数据也可能限制自适应小波的稳定学习。一个小规模检验是：在同一 EEG 任务、固定 Cross-subject 划分与训练预算下，对照原始空间注意力、Fourier 空间注意力和 WavSpA，比较任务指标与资源开销，并检验固定和自适应小波在噪声扰动下的表现。已有 EEG 相关工作尚未检索确认。