注意力在运动想象 EEG 解码器中重要吗?注意力失效的诊断与修复
Does Attention Matter in Motor Imagery EEG Decoders? Diagnosing and Repairing Attention Failure
基于摘要分析。该研究考察运动想象(MI)EEG 解码器中的逐试次注意力权重是否真正影响分类,而不只依据完整模型的性能增益或注意力图判断其有效性。作者提出冻结检查点下的替换诊断,并设计 SOAMNet,尝试同时实现对样本条件化注意力的功能依赖与较好的分类性能。 诊断时保持当前试次的 Value 张量及全部模型参数不变,将注意力权重替换为其他样本的权重或训练集平均权重,另以均匀权重作为固定路径对照。作者报告,在 BCIC-IV-2b 与 BCIC-IV-2a 上评估的八种解码器中,没有一种架构在两个数据集上均获得两种经验权重替换检验共同支持的依赖证据。这一结果针对逐试次权重的功能贡献,不等同于证明注意力模块整体无用。作者通过探针与受控扰动,将失效归因于 token 趋同、Value 空间等价,以及下游旁路或补偿。 SOAMNet 的修复思路是保留多尺度时间轨迹、分离类别查询,并迫使证据通过单一样本条件化注意力路径。作者报告,在四个 MI 数据集、三个随机种子的评估中,SOAMNet 的平均 Balanced Accuracy 和 Cohen’s κ 均高于所比较的 12 个基线。两种经验权重替换在每个数据集上均降低其 Balanced Accuracy;按摘要所述,两者中较弱的平均降幅为 18.61–40.95 个百分点,且两种替换对应的被试 bootstrap 区间均排除零。替换为匹配的可训练非注意力分类头后,Balanced Accuracy 下降 3.51–5.22 个百分点。 这些结果支持作者关于 SOAMNet 依赖样本条件化注意力权重的结论,但尚不能据此确定其跨被试或跨会话泛化能力。摘要未明确训练测试划分、其余两个数据集名称、被试数、绝对性能及分类头匹配细节;实验协议、消融及统计信息尚未验证。复现时需核对权重替换的采样规则、训练集均值的计算方式、bootstrap 单位与区间定义,以及不同模型的训练和评估条件。
值得核对其冻结检查点下的注意力替换诊断:该设计将逐试次注意力权重的功能贡献与整体分类性能分开检验,并以 SOAMNet 提供可对照的修复方案。
来源:OpenReview · EEG · openreview.net