突破容量上限:面向双线性 SPD 层的 Stiefel 流形路由
Escaping the Capacity Ceiling: Routing on the Stiefel Manifold for Bilinear SPD Layers
基于摘要分析。该研究针对 SPD 流形网络中增加深度未必增加表达能力的问题,提出 Stiefel Cross-Attention Pool(SCAP),通过交叉注意力组合专家池,为每个样本生成双线性映射,以替代所有样本共享的固定滤波器。 作者指出,在经过预处理的真实 EEG 数据上,标准 ReEig 非线性很少被激活,因此堆叠 BiMap 层可能退化为等效的单层映射。作者进一步给出最坏情形下的容量上限论证:当不同域不共享判别方向时,单个固定滤波器无法同时充分对齐所有域。该结论有明确条件,不能据此认定所有 SPD 网络的深度均无效。 SCAP 使用包含 K 个专家的池,通过交叉注意力形成样本特异的 Stiefel 滤波器。作者称,当各域最优滤波器在共享切空间基点附近仅张成少量方向时,SCAP 可用少于域数量的专家,一阶近似逐域滤波器组。对于最坏情形,作者报告随着域数量增加,其对齐表现经验上保持近乎平稳;这属于实验观察,不应与一阶近似的条件性分析混同。摘要还指出,直接训练可能使路由坍塌为固定滤波器,作者分析原因并采用三种缓解机制,但具体机制及训练目标尚未验证。 在五个跨域 EEG 运动想象数据集上,作者报告 SCAP 的 Balanced Accuracy 均显著优于固定滤波器 SPDNet,并在其中四个数据集上达到或超过三种域适应基线。摘要未提供数据集名称、被试数量、域的定义、数据划分、具体分数及统计检验,不能将“跨域”直接等同于跨被试、跨会话或跨数据集,也无法量化提升幅度。 复现时需核对 EEG 的 SPD 表征与预处理、ReEig 激活情况、Stiefel 约束实现、专家数量、路由防坍塌机制,以及域适应基线可访问的数据与标签条件。实验协议、消融及统计信息尚未验证。
值得核对其对 BiMap–ReEig 深度堆叠容量退化的理论分析,以及样本条件化 Stiefel 滤波器能否在跨域 EEG 运动想象任务中稳定优于固定滤波器;具体实验协议与路由防坍塌机制尚未验证。
来源:OpenReview · EEG · openreview.net