BASEN:多说话人条件下采用卷积交叉注意力的时域脑辅助语音增强网络
BASEN: Time-Domain Brain-Assisted Speech Enhancement Network with Convolutional Cross Attention in Multi-talker Conditions
基于摘要分析。该研究针对多说话人条件下、缺乏目标说话人先验信息时的单通道语音增强问题,提出时域脑辅助语音增强网络 BASEN,利用听者的 EEG 信号从单声道混合语音中提取其关注的目标说话人。其核心贡献是通过卷积多层交叉注意力融合 EEG 与音频特征,将听觉注意相关脑活动用于引导语音提取。 机制上,研究以听觉注意解码的发现为依据:听者脑活动包含所关注说话人的听觉信息。BASEN 基于全卷积时域音频分离网络,并通过交叉注意力模块融合双分支特征,以利用 EEG 提供的互补信息。摘要未说明 EEG 编码方式、音频与 EEG 的时间对齐策略、交叉注意力的具体计算形式,以及训练目标与推理所需条件,这些内容尚未验证。 作者报告,在一个公共数据集上的实验中,BASEN 在多项评估指标上优于所比较的最先进方法;摘要未提供数据集名称、被试数量、指标名称、具体数值或基线名称,也未说明被试内、跨被试或跨会话划分,因此目前无法判断优势的幅度与泛化范围。实验协议、消融及统计信息尚未验证。 摘要提供了可复现代码地址,但代码完整性、环境依赖、数据获取条件与结果可复现性尚未验证。复现时可重点核对交叉注意力相对于其他融合方式的增益,以及 EEG 与音频同步和数据划分设置对结果的影响。研究对象是 EEG 引导的目标语音提取,摘要中的结果不能直接等同于独立听觉注意解码性能或实时 BCI 系统效果。
值得阅读与复现的是以卷积多层交叉注意力融合 EEG 与音频特征、引导多说话人混合语音中的目标说话人提取,但性能优势及跨被试适用性仍需核对全文实验协议。
来源:OpenReview · EEG · openreview.net