跳到正文
OpenReview · State space models· Ali Behrouz; Farnoosh Hashemi·· 2024-01-01精选AI 评分76

Graph Mamba:基于状态空间模型的图学习探索

Graph Mamba: Towards Learning on Graphs with State Space Models

AI 导读

基于摘要分析。本文研究图表示学习中局部消息传递的过度压缩(over-squashing)与长程依赖捕获不足,以及 Graph Transformers 的二次计算成本和结构编码依赖,提出基于选择性状态空间模型(SSMs)的 Graph Mamba Networks(GMNs)通用框架。 核心机制是将图结构适配到选择性 SSM 的处理方式。作者将设计流程归纳为四个必要步骤:Neighborhood Tokenization、Token Ordering、双向选择性 SSM 编码器架构和 Local Encoding;另将位置编码与结构编码(PE/SE)列为可选步骤。其研究价值在于系统讨论图结构输入与序列式 SSM 之间的适配问题,而非仅以 Mamba 替换现有编码器。摘要未提供分词粒度、排序规则、局部编码实现、训练目标或理论结论的具体条件,这些内容尚未验证。 作者报告,GMNs 在长程、小规模、大规模及异配图基准上,以更低的计算成本取得较好的性能,并提供其表达能力的理论论证。但摘要没有列出数据集名称、划分协议、对照基线、指标或成本测量方式,不能据此量化优势,也不能判断不同任务上的收益是否一致;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务已明确采用通道或脑区关系图,GMNs 的邻域分词、局部编码与长程信息处理机制可能用于探索局部关系和远距离依赖的联合建模。该假设依赖图构建方式、节点特征及任务监督;可借鉴图到 token 的适配框架,但需针对 EEG 的时序信息、通道布局和跨被试差异改造。低信噪比可能使邻域特征不稳定,通道变化可能影响排序,小数据条件下也未必获得计算或泛化优势。可在同一 EEG 数据集、固定跨被试划分和统一图构建条件下,对比 GMNs 与消息传递基线,并检验不同节点排序对任务指标和计算成本的影响。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将图结构转为选择性 SSM 输入的设计框架,重点核对邻域分词、排序与局部编码如何兼顾长程依赖和计算成本;摘要中的性能优势及其对 EEG 图建模的适用性尚未验证。

来源:OpenReview · State space models · openreview.net