面向神经信息引导的目标说话人提取的改进特征提取网络
Improved Feature Extraction Network for Neuro-Oriented Target Speaker Extraction
基于摘要分析。研究针对 EEG 辅助目标说话人提取中的两个问题:长语音序列的有效建模,以及从 EEG 注意信息中确定目标说话人。作者提出改进特征提取网络 IFENet,以 SpeechBiMamba 提取语音特征,以 EEGKAN 提取与听觉刺激相关的 EEG 特征,为利用听觉注意解码(AAD)指导目标语音提取提供方法。 机制上,SpeechBiMamba 使用 dual-path Mamba 建模局部与全局语音序列;EEGKAN 使用 Kolmogorov-Arnold Networks(KAN),旨在从被试 EEG 中提取听觉相关特征,并通过注意信息定位目标说话人。摘要未说明两个编码器的特征如何融合、提取目标语音的具体模块、训练监督与损失形式,相关实现尚未验证。 作者报告,在 KUL 和 AVED 数据集的 open evaluation condition 下,IFENet 相对文中所称的最先进对照模型,SI-SDR 分别相对提升 36% 和 29%。这些数值不是绝对 dB 增益,也不是百分点提升;摘要未给出基线名称、绝对 SI-SDR 或相对提升的计算方式,因此尚不能据此判断实际语音质量改善幅度。 复现时需核对 open evaluation condition 的具体含义,尤其是说话人、被试与数据划分关系,以及 EEG 与语音的时间对齐、通道配置和输入时长。实验协议、消融及统计信息尚未验证;亦需通过正文确认两个编码器各自的贡献,以及模型对注意信息的利用是否在不同被试与语音条件下保持稳定。
值得核对 SpeechBiMamba 与 EEGKAN 如何分别支持长语音序列建模和注意目标定位,尤其是摘要所述 open evaluation condition 的划分与基线定义,这些条件直接影响作者报告的 SI-SDR 相对提升如何解读。
来源:OpenReview · EEG · openreview.net