PANDA:先验引导的注意力双路径架构
PANDA: Prior-guided Attentional Dual-path Architecture
基于摘要分析。本文研究超图神经网络(HNN)中的高阶关系建模,提出可插入两阶段消息传递 HNN 的 PANDA(Prior-guided AttentioNal Dual-path Architecture),面向固定结构权重可能传播误导信息、归一化注意力使发送者贡献相互竞争的问题,适用于有向与无向超图。 核心机制是双路径聚合:主路径在学习得到的接收端归一化注意力与结构关联先验之间进行插值;辅助路径不做归一化,使每个发送者可独立贡献经过变换的信息,而不必因其他发送者权重增加而降低自身权重。作者还报告,在固定结构系数时,PANDA 可恢复既有工作采用的某种复值卷积算子;具体等价条件与推导尚未核验。 作者报告,将 PANDA 接入覆盖空间方法、谱方法以及有向和无向设置的四种 HNN 后,在八个真实世界基准数据集上平均提升 5.18 个百分点。摘要未明确该提升对应的评价指标、平均方式、数据划分及各项基线,不能据此判断不同设置下的收益分布。来源提供了代码地址,但实现、运行条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务以通道或脑区为节点、以多通道关系构建超边,PANDA 的结构先验融合与非竞争消息路径可能用于检验强归一化是否压制互补信息。可复用双路径聚合模块,但需重新定义 EEG 超边与结构先验;低信噪比和伪迹也可能因非归一化路径被放大,跨被试结构差异与小样本训练可能进一步削弱效果。一个可证伪的小实验是在固定被试划分和超图构建规则下,对比原 HNN、完整 PANDA 与去除辅助路径的版本,并检验通道噪声扰动下的表现。上述为迁移假设,不是论文已验证结果;已有 EEG 相关工作尚未检索确认。
值得核对其以结构先验与非竞争辅助路径缓解超图注意力竞争的机制,以及该插件在不同 HNN 中的收益是否依赖具体数据集与评估协议;其 EEG/BCI 适用性尚未验证。
来源:arXiv · 架构与算子 · arxiv.org