Mamba-ND:面向多维数据的选择性状态空间建模
Mamba-ND: Selective State Space Modeling for Multi-Dimensional Data
基于摘要分析。本文研究如何将面向一维序列的 Mamba 扩展到图像、视频和天气等多维数据,提出 Mamba-ND,通过交替沿不同维度按行优先顺序展开输入,实现多维数据的选择性状态空间建模。主要贡献是这一通用扩展设计及其与其他多维建模方案的系统比较,而非 EEG 或 BCI 方法验证。 机制与对照:摘要以 Transformer 自注意力计算与内存复杂度随序列长度呈二次增长为背景,并指出 Mamba 在文本序列建模中具有线性扩展特性。Mamba-ND 的明确机制是改变多维输入的序列化方向,使不同维度的信息进入序列建模过程;摘要未提供具体扫描组合、网络结构、损失函数和训练设置,这些信息尚未验证。作者将其与基于 Bi-directional LSTMs、S4ND 等既有多维扩展思路的替代方案进行比较,具体基线配置及效率测量协议需核对全文。 作者报告,Mamba-ND 在 ImageNet-1K 分类、HMDB-51 动作识别和 ERA5 天气预测上取得可与先进方法竞争的表现。摘要未给出指标数值、数据划分或各任务对照结果,因此不能据此判断优势幅度或跨任务稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 被表示为具有明确时间轴和空间组织的多维输入,交替沿维度展开的机制可能用于探索长时序与跨通道依赖建模。可复用的是多维序列化思路和 Mamba 建模模块,需改造的是通道空间排序、输入编码及任务输出。该假设依赖合理的数据布局和足够的训练信号;EEG 通道并非规则图像网格,低信噪比、跨被试差异、通道缺失和小数据规模均可能使扫描顺序带来不稳定结果。一个可检验的小实验是在固定数据划分和训练预算下,比较仅沿时间建模与时间—通道交替展开,并用通道顺序扰动检验收益是否依赖任意排列,同时记录任务指标、显存和推理耗时。已有 EEG 相关工作尚未检索确认。
值得阅读的是 Mamba-ND 通过交替沿不同维度展开输入,将选择性状态空间建模扩展到多维数据,并与其他多维扩展方案系统比较;其对 EEG 时空建模的价值尚未验证。
来源:OpenReview · State space models · openreview.net