跳到正文
arXiv · EEG 基础模型· Jisoo Park; Seonghak Lee; Hyojin Park; Junseok Kwon·· 20 天前精选AI 评分73

SENSE:通过空间图编码从脑动态进行语义神经语音合成

SENSE: Semantic Neural Speech Synthesis from Brain Dynamics via Spatial Graph Encoding

AI 导读

基于摘要分析。该研究针对非侵入式 EEG 到语音重建中过度关注声学保真度、忽略语义保持的问题,提出 SENSE(Semantic-EEG Neural Speech SynthEsis),将基于电极几何关系的图编码与 EEG Semantic Conditioning(ESC)结合,以同时改善生成语音的声学质量和语义一致性。 方法上,图式 EEG 编码器显式利用电极间空间关系;ESC 则利用 N400 范式中语义一致与不一致试次的结构,仅使用语义一致试次将 EEG 对齐到预训练语义空间。摘要未披露该语义空间的具体模型、对齐损失、语音生成模块及训练流程,因此尚不能判断两个模块各自的贡献或对预训练资源的依赖。本研究提出的是 EEG 语音合成方法,摘要不足以将其认定为 EEG 基础模型发布。 作者报告,在 N400 dataset 上,SENSE 的声学及语义指标均优于既有方法。在未见被试的跨被试设置下,作者报告,仅用两名被试训练的 SENSE,其 word error rate 已优于使用全部十八名被试训练的最强基线;使用八名被试训练时,声学指标可与该基线持平。摘要未给出具体分数、指标清单、训练样本量及完整划分,以上比较仍需核对被试选择、数据规模与基线训练条件。 作者报告,模型内部的通道归因提示其分布式依赖听觉、感觉运动及中央—顶叶区域,并认为这与已知语音感知神经科学相符;但模型归因本身不能确证相应脑区的因果作用。实验协议、消融及统计信息尚未验证,尤其需要核对语义一致试次的使用范围、声学与语义评价方式,以及跨被试结果的稳定性。该摘要也未提供失语或无法言语人群的临床验证证据。

阅读价值

值得核对其电极几何图编码与语义条件化能否分别带来可复现收益,尤其是作者报告的小规模训练下未见被试泛化优势,但需结合全文确认数据划分及基线协议。

来源:arXiv · EEG 基础模型 · arxiv.org