跳到正文
OpenReview · EEG· Cunhang Fan; Ying Chen; Jian Zhou; Zexu Pan; Jingjing Zhang; Youdian Gao; Xiaoke Yang; Zhengqi Wen; Zhao Lv·· 2025-01-01精选AI 评分73

M3ANet:用于脑辅助目标说话人提取的多尺度与多模态对齐网络

M3ANet: Multi-scale and Multi-Modal Alignment Network for Brain-Assisted Target Speaker Extraction

AI 导读

基于摘要分析。该研究面向脑辅助目标说话人提取(TSE),利用 EEG 等脑神经活动,从混合语音中提取听者正在关注的语音。作者提出 M3ANet,分别针对 EEG 与语音的时间错位,以及语音编码器对目标说话人信息提取不足的问题,引入跨模态对齐和多尺度语音编码。 机制上,模态对齐模块采用对比学习策略,对齐 EEG 与语音的时间特征;语音编码器结合多尺度卷积与 GroupMamba,在不同尺度上从不同方向扫描语音特征,以捕获更深层的序列信息。摘要将现有方法中的基本时间操作(如一维卷积)作为改进动机,但具体对比学习目标、正负样本构造、时间对齐粒度及 GroupMamba 配置尚未验证。 作者报告,在三个公开数据集上,M3ANet 的多项评估指标优于当前最先进方法。摘要未提供数据集名称、被试规模、数据划分、被试内或跨被试协议、指标名称与具体数值,因此尚不能据此判断增益幅度及跨被试泛化能力,也不能将目标语音提取效果等同于独立的听觉注意解码性能。 作者提供了源码链接,为后续复现提供入口,但代码完整性、运行条件与结果可复现性尚未验证。阅读全文时需核对时间错位的建模和评估方式、两类模块各自的消融贡献,以及比较方法是否采用一致的数据与训练协议;实验协议、消融及统计信息尚未验证。

阅读价值

值得关注其以对比学习处理 EEG—语音时间错位、以多尺度卷积和 GroupMamba 增强语音编码的设计,但性能增益及各模块贡献仍需结合完整评估协议与消融验证。

来源:OpenReview · EEG · openreview.net