跳到正文
OpenReview · State space models· Xilin Jiang; Cong Han; Nima Mesgarani·· 2025-01-01精选AI 评分73

Dual-path Mamba:用于语音分离的短期与长期双向选择性结构化状态空间模型

Dual-path Mamba: Short and Long-term Bidirectional Selective Structured State Space Models for Speech Separation

AI 导读

基于摘要分析。本文研究语音分离中 Transformer 自注意力计算与内存开销较高的问题,以选择性状态空间模型 Mamba 替换 Transformer,提出 Dual-path Mamba,用于建模语音信号的短期、长期及前向、后向依赖。主要贡献是将双路径时序建模与双向选择性状态空间结合,而非提出 EEG 或 BCI 方法。 技术机制:摘要以自注意力的二次复杂度作为动机,强调用 Mamba 替换 Transformer,而不是继续叠加额外模块。双路径分别覆盖短期与长期依赖,双向建模利用前向和后向上下文;具体分块方式、状态空间配置、损失函数、训练流程及计算与内存实测尚未验证。双向上下文也提示其在线因果应用需要另行评估,不能直接据此宣称适合实时 BCI。 结果与证据:作者报告,在 WSJ0-2mix 语音分离数据上,相对较小的 Dual-path Mamba 模型优于 RNN 模型 DPRNN、CNN 模型 WaveSplit 和 Transformer 模型 Sepformer;其最大模型达到 23.4 dB 的 SI-SNRi。摘要未给出各模型参数量、具体划分、对照训练条件及结果波动,因此不能进一步量化参数效率或确认对照公平性。实验协议、消融及统计信息尚未验证。摘要提供 Mamba-TasNet 代码链接,但实现内容与复现条件尚未核对。 平台推测(待验证):可检验的迁移假设是,短期与长期时序建模可用于同时刻画 EEG 局部波形与较长时间依赖;可考虑复用双路径状态空间模块,但输入通道组织、任务输出和监督目标需改造。语音分离依赖混合语音及分离目标,不能直接对应缺少干净源参照的真实 EEG;低信噪比、跨被试差异、通道变化和小数据可能削弱收益。一个小实验是在固定跨被试划分下,以有参考信号的模拟 EOG 污染 EEG 去噪为任务,与参数量和训练预算匹配的双路径 Transformer 比较重建误差、内存和时延,并明确限定为离线双向处理。相关 EEG 工作尚未检索确认。

阅读价值

值得核对双路径双向 Mamba 在语音分离中的质量与模型规模权衡,但其对 EEG 长时序建模的价值仍属迁移假设,尚未验证。

来源:OpenReview · State space models · openreview.net