DyGMamba:利用状态空间模型高效建模连续时间动态图中的长期时间依赖
DyGMamba: Efficiently Modeling Long-Term Temporal Dependency on Continuous-Time Dynamic Graphs with State Space Models
基于摘要分析。该研究面向连续时间动态图(CTDG)的表示学习,试图同时解决长节点交互历史带来的计算负担,以及长上下文中关键时间信息的识别问题。作者提出基于 Mamba 状态空间模型(SSM)的 DyGMamba,通过节点级与时间级 SSM 配合,建模长期依赖并动态选择重要交互信息。 机制上,节点级 SSM 编码节点历史交互序列;时间级 SSM 提取历史图中隐含的时间模式,其输出用于动态选择交互历史中的关键信息。摘要的主要方法特点是将交互序列编码与时间模式驱动的信息选择结合,而非仅扩大历史窗口。具体选择机制、时间间隔编码、损失函数、训练与推理流程尚未验证,不能据此确定模型的复杂度阶数。 作者在动态链接预测任务上进行评估,并报告模型在多数情形达到 SOTA,同时保持较高计算资源效率,使有限计算预算下的长期依赖建模成为可能。摘要未提供数据集、划分协议、对照方法、具体指标或资源测量数值;实验协议、消融及统计信息尚未验证,因此暂不能判断性能增益来自更长历史、时间信息选择还是其他设计。 平台推测(待验证):若将 EEG 转换为带时间戳的通道或脑区交互事件图,长历史编码与关键时间信息选择可能对应长程脑网络动态建模中的计算瓶颈。该假设依赖可靠的节点定义、交互事件构造及任务监督,原论文的动态链接预测效果不等于 EEG/BCI 解码效果。可考虑复用 SSM 序列编码与时间选择思路,但需改造图构建和输出任务;低信噪比可能产生伪交互,跨被试通道差异及小数据也可能使选择机制不稳定。一个可证伪的小实验是在固定 EEG 图构建、数据划分和计算预算下,对比仅节点级 SSM 与加入时间级选择的实现,检验较长历史是否带来稳定收益。已有 EEG 相关工作尚未检索确认,全文与实现可得性亦尚未验证。
值得核对的是节点级与时间级 SSM 如何协同压缩长交互历史并选择关键时间信息,以及动态链接预测性能与计算开销之间的权衡;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net