SAV-SE：基于选择性状态空间模型的场景感知视听语音增强

基于摘要分析。本文研究视听语音增强中面部与唇部线索受遮挡或远距离拍摄影响的问题，提出 SAV-SE 任务：利用同步视频中的环境上下文提示噪声类型，辅助增强语音。作者提出 VC-S²E 方法，将 Conformer 与 Mamba 模块结合，以利用两者的互补优势。 其核心思路是将视觉辅助信息从说话人的面部运动扩展到周围场景，例如利用可见的噪声源帮助区分背景噪声与目标语音。作者称，这是首次使用此类丰富的同步视频上下文辅助语音增强；该优先性声明尚未独立核实。摘要未交代视觉特征提取、音视频融合位置、选择性状态空间模块的具体作用、损失函数及训练监督形式，均需全文核对。 作者报告，在公开 MUSIC、AVSpeech 和 AudioSet 数据集上的实验中，VC-S²E 优于其他竞争方法，但摘要未提供具体指标、数值、数据划分及基线名称，不能据此判断提升幅度或跨场景泛化能力。实验协议、消融及统计信息尚未验证。作者表示将公开源代码，这不等同于代码已发布。 平台推测（待验证）：若 EEG 任务同时具有与干扰相关的同步环境视频，该方法的“场景线索辅助干扰建模”机制可能对应 EEG 中的环境干扰识别瓶颈，但语音噪声与 EEG 伪迹的生成机制并不相同。可考察的模块是时序建模与跨模态融合；需改造 EEG 输入表示、时间对齐和目标损失，所需配对数据规模及监督形式仍需核对。低信噪比、视频无法观测的生理伪迹、被试差异、通道变化与小样本均可能使迁移失效。一个可检验的小实验是假设同步场景视频能辅助 EEG 去噪，在固定被试与数据划分下比较 EEG-only、真实配对视频及打乱配对视频条件，检验收益是否来自有效场景信息。相关 EEG 工作尚未检索确认，以上不构成已验证的 BCI 效果。