深度神经网络(DNN)导出的感知距离预测人脑对外语口音语音的反应
Perceptual Distance from a Deep Neural Network (DNN) Predicts Human Brain Response to Foreign Accented Speech
基于摘要分析。本研究考察 DNN 语音表征导出的感知距离,能否解释听者对不同程度外语口音语音的 ERP 差异,主要贡献是将此前用于解释语音可懂度的表征距离与实时听觉加工反应建立联系,而非提出 BCI 解码算法。 研究采集了 40 名健康英语母语者聆听四名说话者朗读句子时的 EEG。分析以各句末词为时间锁定点,跨被试平均得到各句子、各说话者对应的项目级 ERP;再将另外三名说话者的 ERP 分别减去一名典型美式口音参考说话者的 ERP,形成差异波,用于说话者特异的调制分析。因此,这里的结果基于跨被试平均的项目级反应,不能直接解释为单被试或单试次预测能力。 分析将 cloze probability(完形填空概率)、DNN 导出的感知距离、平均 f0、停顿次数和发音速率作为五个连续预测变量,考察项目级 ERP 的振幅与潜伏期。作者报告,在上述说话者特异分析中,口音感知距离与 P2 振幅呈正向关系;作者据此认为,该距离与外语口音引起的声音提取加工变化有关。摘要未给出潜伏期效应、效应量或预测性能,不能据此补推。 这一工作的价值在于检验 DNN 语音表征与人类听觉神经反应的对应关系,而非仅以行为可懂度验证距离指标。具体 DNN 名称、表征提取与距离计算方法、ERP 时间窗和电极选择、统计模型、消融及统计信息尚未验证;摘要也不足以判断结果能否推广到其他说话者、语言或个体层面的 EEG 分析。
该研究将 DNN 表征导出的口音感知距离与词级 ERP 联系起来,为评估语音表征是否对应人类听觉加工提供了可核对的分析路径,但不构成 BCI 解码性能证据。
来源:OpenReview · EEG · openreview.net