跳到正文
OpenReview · State space models· Kai Li; Guo Chen; Runxuan Yang; Xiaolin Hu·· 2025-01-01精选AI 评分70

SPMamba:利用状态空间模型的长序列建模能力进行语音分离

SPMamba: Leveraging Long-Sequence Modeling with State Space Models for Speech Separation

AI 导读

基于摘要分析。该研究针对语音分离中 CNN 局部感受野受限、LSTM 与 Transformer 处理长音频时计算资源和推理效率压力较大的问题,提出 SPMamba:在 TF-GridNet 架构中以双向 Mamba 替换传统 BLSTM 模块,旨在兼顾长程依赖建模与计算效率。主要研究对象是混合语音的分离,并非 EEG 或 BCI。 核心机制是在时间与频率维度建模关联,利用双向处理同时获取过去与未来上下文。作者称该设计能够以线性计算复杂度捕获长程依赖;这一复杂度表述不能直接等同于完整系统的实测速度或内存优势,仍需核对序列长度、硬件、实现和端到端测量。双向机制依赖未来上下文,因此其直接用于严格在线、低延迟处理的条件也需单独评估。 作者报告在 WSJ0-2Mix、WHAM!、Libri2Mix 及新构建的 Echo2Mix 上开展实验,相较此前 SOTA 模型取得更好的分离结果并降低计算复杂度。摘要未提供具体指标、数值、划分、对照配置或 Echo2Mix 的构建细节,不能量化增益或判断不同协议下的可比性;实验协议、消融及统计信息尚未验证。作者提供了公开代码地址,但代码完整性、依赖与训练复现条件尚未核验。 平台推测(待验证):假设双向状态空间建模可缓解离线 EEG 长序列分析的计算瓶颈,可考虑复用 Mamba 序列模块;但语音的时频结构与分离监督不能直接照搬到 EEG,输入表示、通道处理和任务输出均需改造。低信噪比、跨被试差异、通道变化及小数据训练可能使收益消失。一个可证伪的小实验是在固定 EEG 任务与跨被试划分下,仅替换基线序列模块,对照 BLSTM 与双向 Mamba,保持其他模块及训练设置一致,同时测量任务指标、运行时间与峰值内存。该实验仅检验离线建模假设,不构成实时 BCI 有效性的证据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对并复现其以双向 Mamba 替换 TF-GridNet 中 BLSTM 的设计,检验长音频语音分离性能与计算开销的权衡,但摘要不足以确认具体增益及其对 EEG 的适用性。

来源:OpenReview · State space models · openreview.net