跳到正文
OpenReview · State space models· Yinan Huang; Siqi Miao; Pan Li·· 2024-09-26精选AI 评分82

面向图机器学习,我们能从状态空间模型中学到什么?

What Can We Learn from State Space Models for Machine Learning on Graphs?

AI 导读

基于摘要分析。本文研究如何将 State Space Models(SSMs)扩展到缺乏规范节点顺序的图结构数据,提出 Graph State Space Convolution(GSSC),旨在缓解 Message Passing Neural Networks(MPNNs)表达能力及长程依赖建模的限制,同时降低图 transformer 全局注意力的计算开销。 核心机制是结合全局置换等变集合聚合与可因式分解图核,并以节点间相对距离构造卷积核,从而避免依赖固定节点排序。作者称该设计保留了 SSMs 的高效计算、长程依赖建模及跨不同长度输入泛化的优势,并给出 GSSC 在图子结构计数方面比 MPNNs 表达能力更强的理论结果。具体核形式、距离定义、复杂度边界、训练目标及证明条件尚未验证。 作者报告,在 11 个真实世界常用基准数据集上,GSSC 在其中 6 个取得最佳结果,并称相较最先进基线的提升均具有显著性;在其余 5 个取得第二佳结果。摘要未提供数据集名称、任务指标、具体分数、划分方式及显著性检验细节,因此不能据此比较不同任务的提升幅度。实验协议、消融及统计信息尚未验证。摘要提供匿名代码入口,但代码完整性、运行环境与复现结果尚未核对。 平台推测(待验证):若将 EEG 通道或脑区建模为节点,并能定义有意义的相对距离,GSSC 的全局聚合可能用于检验局部消息传递难以捕捉的远距离关系。可复用部分是置换等变聚合和图核机制;需改造的是 EEG 节点特征、边与距离的定义,以及时序信息的接入方式。原方法依赖图结构与节点间距离,所需监督形式及训练规模尚未明确;EEG 低信噪比、功能连接估计不稳定、跨被试差异、通道配置变化和小样本均可能使该假设失效。一个可检验的小实验是在固定 EEG 任务、相同图构建及相同跨被试划分下,对比 GSSC 与 MPNN,并同时记录任务指标、计算成本和通道扰动下的性能变化。已有 EEG 相关工作尚未检索确认,原图基准结果不构成 BCI 有效性的证据。

阅读价值

值得核对 GSSC 如何以置换等变聚合和可因式分解图核兼顾长程依赖与计算效率,以及其子结构计数表达能力证明;这些机制对 EEG 图建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net