图神经网络的表征知识蒸馏研究

该研究探讨如何将较强教师 GNN 的表征知识迁移至资源高效的学生 GNN，提出 graph contrastive representation distillation（G-CRD），以对比学习对齐师生节点嵌入，并隐式保持教师表征的全局拓扑。基于摘要分析，未取得论文全文。 既有 local structure preserving（LSP）损失匹配图中边所定义的局部节点关系；本文则考虑真实图中潜在交互与噪声边带来的限制，在共享表征空间中对齐教师与学生的节点嵌入。这里的“全局拓扑”指教师如何组织图数据的嵌入关系，不宜等同于直接重建输入图的全部连接。具体对比损失、正负样本构造、投影方式及训练开销尚未验证。 作者报告，在四个数据集、14 种异构 GNN 架构的实验范围内，G-CRD 持续提升轻量 GNN 的性能与鲁棒性，优于 LSP、其 global structure preserving（GSP）变体，以及来自二维计算机视觉的蒸馏基线。作者还扩展了大型真实数据集上的评估，强调教师与学生之间存在不可忽略的性能差距；表征相似性分析显示，G-CRD 在保留局部与全局关系之间取得平衡，而结构保持方法更偏向其中一类关系。摘要未给出数据集名称、划分、指标、提升幅度或鲁棒性测试方式，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务已采用通道或脑区节点构图，G-CRD 的师生节点表征对齐机制可能用于轻量 GNN 蒸馏；这一假设依赖可对应的节点、可训练的教师以及足够的训练数据，不代表原论文已验证 BCI 效果。可复用的是对比蒸馏思路，需改造的是 EEG 图构建与节点对应方式。低信噪比、跨被试连接差异、通道缺失及小数据可能使学生继承教师偏差。可检验的小实验是在固定跨被试划分、相同师生架构与训练预算下，比较不蒸馏、LSP 与 G-CRD，并测试通道扰动下的任务表现及推理成本。相关 EEG 工作尚未检索确认。