使用膨胀卷积网络关联语音基频与 EEG
Relating the fundamental frequency of speech with EEG using a dilated convolutional network
基于摘要分析。本研究关注自然语音的基频(f0)与 EEG 之间的关系,提出膨胀卷积模型以研究 f0 的神经跟踪,并考察将 f0 与语音包络结合能否改善建模表现。 研究背景与机制:传统方法通常通过线性回归预测 EEG 或重建语音特征,再以预测信号与实际信号的相关性衡量建模表现。本文在已有语音包络非线性建模工作的基础上,纳入包络未编码的 f0 信息。摘要将 f0 描述为主要在脑干至中脑水平编码的较高频率特征;这一背景说明不能直接视为模型已定位其 EEG 信号来源。方法采用膨胀卷积,但具体输入组织、网络结构、损失函数及任务方向尚未验证。 结果:作者报告,联合使用 f0 与语音包络提高了一个被作者称为当前先进的包络模型的表现,并据此认为模型能够从两类特征中提取非冗余信息。作者还报告模型能够泛化到未参与训练的被试,即具有跨被试泛化证据。摘要未提供数据集、被试数量、划分细节、具体评价指标或改善幅度,不能据此量化性能,也不能与其他协议下的结果直接比较。 局限与复现核对:实验协议、消融及统计信息尚未验证。复现时需要核对 f0 提取与语音—EEG 时间对齐、EEG 预处理、联合特征与单独包络的对照设置,以及训练和测试被试的划分。作者认为跨被试泛化有望促进基于 f0 的听力诊断,但摘要未提供临床诊断验证,不能将这一应用展望视为已证实的诊断能力或 BCI 性能提升。
值得阅读的具体原因是作者用膨胀卷积联合建模语音 f0 与包络,并报告对未参与训练被试的泛化,为核对两类语音特征是否提供互补 EEG 信息提供了研究线索。
来源:OpenReview · EEG · openreview.net