跳到正文
OpenReview · EEG· Jie Zhang; Qing-Tian Xu; Qiu-Shi Zhu; Zhen-Hua Ling·· 2023-01-01精选AI 评分73

BASEN:多说话人条件下采用卷积跨注意力的时域脑辅助语音增强网络

BASEN: Time-Domain Brain-Assisted Speech Enhancement Network with Convolutional Cross Attention in Multi-talker Conditions

AI 导读

基于摘要分析。该研究针对多说话人条件下单通道语音增强难以在缺少先验信息时提取目标说话人的问题,提出时域脑辅助语音增强网络 BASEN,利用听者 EEG 中与被关注说话人相关的听觉信息,从单声道混合语音中提取目标语音。 核心机制:BASEN 基于全卷积时域音频分离网络,并引入卷积多层跨注意力模块,融合语音与 EEG 双分支特征。其方法重点在于将听者的注意信息作为目标说话人提取的辅助线索,而非仅依赖混合语音本身。摘要未给出 EEG 编码方式、特征时间对齐、跨注意力计算细节、损失函数或训练设置,这些内容尚未验证。 结果与证据:作者报告,在一个公开数据集上,BASEN 在多项评估指标中优于所比较的最先进方法。摘要未提供数据集名称、被试数量、数据划分、具体基线、指标名称与数值,因此尚不能判断优势幅度,以及结果是否适用于被试内、跨被试或跨会话条件。实验协议、消融及统计信息尚未验证。 复现条件与核对重点:作者提供了可复现代码链接,但代码可运行性及其与论文实验的一致性尚未验证。阅读全文或复现时,应重点核对 EEG 与语音的同步和预处理、训练与测试划分、对照方法,以及跨注意力融合相对于其他融合方式的贡献;还需检验低信噪比 EEG、通道变化和新被试条件下的稳健性。该工作直接研究 EEG 辅助语音增强,摘要结果不应进一步解读为已验证的实时 BCI 系统性能。

阅读价值

值得阅读其利用 EEG 与语音特征的卷积跨注意力融合来提取被关注说话人的机制,但摘要中的性能优势仍需结合具体评估协议与基线核对。

来源:OpenReview · EEG · openreview.net