面向图机器学习,我们能从状态空间模型中学到什么?
What Can We Learn from State Space Models for Machine Learning on Graphs?
基于摘要分析。本文研究如何将 State Space Models(SSMs)扩展到缺乏规范节点顺序的图结构数据,提出 Graph State Space Convolution(GSSC),旨在缓解 Message Passing Neural Networks(MPNNs)表达能力及长程依赖建模的限制,同时降低图 transformer 全局注意力的计算开销。 核心机制是结合全局置换等变集合聚合与可因式分解图核,并以节点间相对距离构造卷积核,从而避免依赖固定节点排序。作者称该设计保留了 SSMs 的高效计算、长程依赖建模及跨不同长度输入泛化的优势,并给出 GSSC 在图子结构计数方面比 MPNNs 表达能力更强的理论结果。具体核形式、距离定义、复杂度边界、训练目标及证明条件尚未验证。 作者报告,在 11 个真实世界常用基准数据集上,GSSC 在其中 6 个取得最佳结果,并称相较最先进基线的提升均具有显著性;在其余 5 个取得第二佳结果。摘要未提供数据集名称、任务指标、具体分数、划分方式及显著性检验细节,因此不能据此比较不同任务的提升幅度。实验协议、消融及统计信息尚未验证。摘要提供匿名代码入口,但代码完整性、运行环境与复现结果尚未核对。 平台推测(待验证):若将 EEG 通道或脑区建模为节点,并能定义有意义的相对距离,GSSC 的全局聚合可能用于检验局部消息传递难以捕捉的远距离关系。可复用部分是置换等变聚合和图核机制;需改造的是 EEG 节点特征、边与距离的定义,以及时序信息的接入方式。原方法依赖图结构与节点间距离,所需监督形式及训练规模尚未明确;EEG 低信噪比、功能连接估计不稳定、跨被试差异、通道配置变化和小样本均可能使该假设失效。一个可检验的小实验是在固定 EEG 任务、相同图构建及相同跨被试划分下,对比 GSSC 与 MPNN,并同时记录任务指标、计算成本和通道扰动下的性能变化。已有 EEG 相关工作尚未检索确认,原图基准结果不构成 BCI 有效性的证据。
值得核对 GSSC 如何以置换等变聚合和可因式分解图核兼顾长程依赖与计算效率,以及其子结构计数表达能力证明;这些机制对 EEG 图建模的价值尚未验证。
来源:OpenReview · State space models · openreview.net