Ramba:面向关系深度学习的选择性状态空间模型
Ramba: Selective State-Space Models for Relational Deep Learning
基于摘要分析。本文研究直接从多表数据库学习的关系深度学习问题,针对 Transformer 二次复杂度限制大上下文、GNN 为效率牺牲全局上下文的矛盾,提出选择性状态空间模型 Ramba。其主要贡献是将关系结构恢复与基于数据库模式的相关性筛选结合,以处理较大的跨表上下文。 机制上,Topology-Aware Linearization 采用全局按列序列化,以 O(L) 复杂度处理单元格,并通过稀疏实体及外键注意力掩码恢复关系结构;摘要未明确 L 的定义及完整计算流程。Schema Dynamic Gating 根据当前扫描属性与预测目标之间的语义对齐程度调节 SSM 状态转移,实现跨表相关性过滤,作者强调该机制不依赖数值分布。其关键依赖是数据库的属性语义、实体关系和外键结构,而不只是序列中的数值。 作者报告在多种关系数据基准上取得最先进性能,并具有线性扩展性;摘要未提供基准名称、任务、划分、对照配置、指标或具体数值,因此尚不能判断优势幅度,也不能将单元格处理复杂度直接等同于端到端训练或推理复杂度。实验协议、消融及统计信息尚未验证;复现需核对序列化规则、关系掩码构造、语义对齐与门控实现,以及性能和资源消耗的测量条件。 本文的主要对象是关系数据库,而非 EEG 或 BCI。摘要尚不足以建立其模式语义及外键机制与神经信号建模之间的具体对应关系,因此不据此生成 EEG 迁移方案;已有 EEG 相关工作尚未检索确认。
值得核对 Ramba 如何通过拓扑感知线性化与模式动态门控兼顾多表关系结构和长上下文效率,但其性能及线性扩展性目前仅有摘要中的作者报告支持。
来源:OpenReview · State space models · openreview.net