灵活的无限宽图卷积网络与表征学习的重要性
Flexible infinite-width graph convolutional networks and the importance of representation learning
基于摘要分析。本文研究无限宽神经网络理论中固定核限制表征学习的问题,提出 graph convolutional deep kernel machine,以可调节的表征学习程度考察图分类与节点分类任务是否需要学习表征。 通常的 neural network Gaussian process(NNGP)在无限宽极限下将网络输出描述为高斯过程,但其核固定,仅能通过少量超参数调节。作者认为,这种理论简化可能移除了有限宽神经网络取得良好表现的重要机制。所提方法同样采用无限宽极限与核表示,但提供控制表征学习程度的调节机制,可用于比较不同表征学习程度下的任务表现;具体参数化、优化目标和训练过程尚未验证。 作者报告,在所考察的图分类及异配性节点分类任务中,表征学习带来显著的性能改善;在同配性节点分类任务中则未体现同样的必要性。该结论应限定于论文实际评估的任务与协议,不能推广为所有图任务的普遍规律。摘要未提供数据集、划分、指标和具体数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 通道作为节点、通道关系作为边,该方法可能用于检验脑信号图任务中固定核与可学习表征的差异。可复用的是核方法及表征学习程度的控制机制,需改造的是 EEG 节点特征、图构建和任务监督;原研究依赖图结构及分类任务,所需数据规模尚不明确。EEG 低信噪比、跨被试差异、通道配置变化和小样本可能使可学习核过拟合,且节点同配性结论不能直接等同于脑信号图分类结论。一个可证伪的小实验是在固定 EEG 图构建和严格 Cross-subject 划分下,仅改变表征学习程度,比较固定核与可学习核的分类及泛化表现。已有 EEG 相关工作尚未检索确认。
该研究以可调节表征学习程度的无限宽图核方法,检验不同图任务对表征学习的依赖,值得用于理解固定核与可学习表征的适用边界,但其 EEG/BCI 价值尚未验证。
来源:OpenReview · Representation learning · openreview.net