SFG-Mamba:用于语音增强的可靠性感知语音帧图传播与状态空间建模
SFG-Mamba: Reliability-Aware Speech Frame Graph Propagation with State-Space Modeling for Speech Enhancement
基于摘要分析。本文研究退化程度随时间变化的单通道语音增强,提出 SFG-Mamba,通过可靠性感知的 Speech Frame Graph(SFG)引导跨时间信息传递,使可靠帧的信息能够被其他时刻直接利用。主要研究对象是语音增强,而非 EEG 或 BCI。 机制上,SFG 建模帧级可靠性引导的信息传播;Speech Time-Frequency Graph Convolution(STGC)模块将非局部图信息与局部时频表示结合,再由双向 Mamba 进行长程时间建模。相较于主要按时间顺序处理语音的方法,其关键区别是显式利用帧间可靠性关系。可靠性估计方式、图边构造、传播权重、损失函数与训练细节尚未验证。 作者报告,在 VoiceBank+DEMAND 和 DNS 的语音增强实验中,PESQ 分别达到 3.57 和 3.52;作者另报告,在考察时间异质性增加所致性能下降的实验中,SFG-Mamba 在所比较方法中表现最佳。摘要未提供数据划分、噪声与信噪比设置、对照方法及统计信息,不能据此判断性能差异的稳健性或与其他协议直接比较。实验协议、消融及统计信息尚未验证,代码与复现条件亦尚未确认。 平台推测(待验证):若 EEG 窗口的伪迹污染也呈时间异质性,可靠性引导的跨时间传播可能为局部受污染片段提供补充信息;这是机制迁移假设,不是已证实的 BCI 效果。图传播与长程建模思路可能复用,但语音时频模块及可靠性估计需适配 EEG 的通道结构和任务信号。低信噪比可能使可靠性估计失准,跨被试差异与小数据可能削弱图关系的稳定性,传播也可能抹平短暂的任务相关活动。可在固定被试内划分的 EEG 数据上注入局部伪迹,对比可靠性引导图与均匀权重图,检验其是否改善污染条件下的任务表现且不损害干净条件表现;不得跨训练与测试边界构图。已有 EEG 相关工作尚未检索确认。
值得核对其帧级可靠性引导的跨时间信息传递是否确实提升时变退化下的语音增强表现,但其对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net