OpenReview · EEG· Cunhang Fan; Ying Chen; Jian Zhou; Zexu Pan; Jingjing Zhang; Youdian Gao; Xiaoke Yang; Zhengqi Wen; Zhao Lv·· 2025-01-01精选AI 评分73
M3ANet:用于脑辅助目标说话人提取的多尺度与多模态对齐网络
M3ANet: Multi-scale and Multi-Modal Alignment Network for Brain-Assisted Target Speaker Extraction
AI 导读
基于摘要分析。该研究面向脑辅助目标说话人提取(TSE),利用 EEG 等脑神经活动从混合语音中提取听者关注的语音,提出 M3ANet,重点处理 EEG 与语音的时间错位,以及语音编码器对目标说话人信息提取不足的问题。 机制上,M3ANet 的模态对齐模块采用对比学习策略,对齐 EEG 与语音的时间特征;语音编码器结合多尺度卷积和 GroupMamba,在各尺度上从不同方向扫描语音特征,以捕获深层序列信息。摘要未披露对比样本构造、具体损失形式、时间对齐粒度及 GroupMamba 的详细配置,尚不能判断其对齐机制如何适应不同时间延迟。 作者报告,在三个公开数据集上,M3ANet 在多项评估指标上优于当前最先进方法;但摘要未列出数据集名称、指标、具体数值、对照模型或被试内、跨被试等划分条件,因此暂不能量化收益或判断泛化范围。实验协议、消融及统计信息尚未验证,尤其需核对模态对齐与多尺度语音编码各自的贡献。 作者提供了源码链接,可作为复现入口;代码完整性、数据预处理、训练配置及运行条件尚未验证。该工作直接研究 EEG 辅助的语音提取,其摘要结果不能进一步等同于真实听觉辅助场景中的在线性能或临床有效性。
阅读价值
值得关注其以对比学习处理 EEG—语音时间错位、以多尺度 GroupMamba 编码语音的组合机制,但性能增益及各模块贡献仍需结合完整实验协议与消融核对。
来源:OpenReview · EEG · openreview.net