跳到正文
OpenReview · EEG·· 2026-08-28精选AI 评分73

MindVoice:通过语言内容恢复实现非侵入式神经信号的可懂语音重建

MindVoice: Towards Intelligible Speech Reconstruction from Non-invasive Neural Signals via Linguistic Recovery

AI 导读

基于摘要分析。MindVoice 研究从非侵入式神经信号重建被感知语音的问题,针对直接从噪声神经记录映射到混合语音表征时,声学特征可被保留、语言内容却难以可靠恢复的可懂度缺口,提出显式恢复语言内容的重建框架。其研究对象是听觉感知中的语音重建,摘要未将任务表述为运动想象或自主表达意图的解码。 方法包含互补的语言重建流与声学流:前者估计被感知的语言内容,后者捕捉说话方式的细粒度声学特征。框架利用预训练语音先验补偿不完整的神经证据,并通过文本转语音生成与上下文声音克隆整合两路信息,合成语音。与摘要所描述的声学中心式方法相比,其关键区别是显式处理“说了什么”与“如何说”的信息,而非仅追求声学表征的直接重建。 作者报告,在 EEG 和 MEG 数据集上的实验中,MindVoice 相较既有非侵入式方法获得了显著的可懂度提升;进一步分析显示,频谱保真度与语言可懂度之间存在经验性权衡,作者认为该方法取得了较有利的平衡。摘要未提供具体数据集、被试数量、被试内或跨被试划分、对照方法、指标定义及数值,因此尚不能量化提升幅度或判断不同协议下的泛化表现。 复现与解释结果时,需要核对语言流的监督来源、预训练语音先验与声音克隆所需的输入,以及测试语句、说话人与训练数据的划分方式;这些条件关系到神经证据与生成先验各自的贡献。网络实现、训练目标、消融、统计信息及代码可用性尚未验证。摘要中的结果支持进一步考察显式语言内容恢复,但不能直接外推为实时语音 BCI 或临床沟通能力的验证。

阅读价值

值得关注其将语言内容恢复与声学特征恢复分离的重建思路,但可懂度增益及预训练语音先验的贡献仍需结合完整实验协议核对。

来源:OpenReview · EEG · openreview.net