MSFNet:用于脑控说话人提取的多尺度融合网络
MSFNet: Multi-Scale Fusion Network for Brain-Controlled Speaker Extraction
基于摘要分析。该研究面向多人同时说话环境中的目标说话人提取,提出 MSFNet,利用听者的 EEG 引导模型从混合语音中提取其关注的目标语音。核心贡献是将多时间尺度语音表示与 EEG 特征融合,并构建 EEG-Audio 数据集 AVED,用于支持听觉注意解码相关研究及方法验证。 技术机制上,MSFNet 对混合语音进行多个时间尺度的编码,获得多尺度嵌入;EEG 编码器采用图卷积网络,以建模作者所强调的 EEG 非欧几里得数据结构;随后将各尺度语音嵌入分别与 EEG 特征融合。其研究重点是如何利用 EEG 与语音中关于目标说话人的共同信息,而不仅是从 EEG 判别注意对象。摘要未交代 EEG 图的节点与边构造、跨模态时间对齐方式、融合运算、训练损失及最终语音重建流程,这些内容尚未验证。 作者报告,在公开 Cocktail Party 数据集和新构建的 AVED 数据集上,MSFNet 在部分客观评价指标上显著优于所比较的最先进方法。摘要未提供具体指标、数值、对照模型及显著性检验细节,因此无法判断提升幅度或适用范围,也不能据此推断其在跨被试、跨会话条件下的表现。 复现时需核对两套数据的被试规模、EEG 采集与预处理、语音混合设置、训练与测试划分,以及 AVED 的获取条件;同时需查看多尺度编码、图卷积 EEG 编码和融合策略各自贡献的消融证据。上述实验协议、消融及统计信息尚未验证,代码与数据是否公开也无法由摘要确认。
值得关注其将多时间尺度语音表示与图卷积 EEG 编码相融合的目标说话人提取机制,并核对新增 AVED 数据集的评估协议及性能提升是否能跨被试、跨会话保持。
来源:OpenReview · EEG · openreview.net