跳到正文
OpenReview · EEG· Xueyi Zhang; Ruicong Wang; Peng Zhao; Siqi Cai; Haizhou Li·· 2024-09-27精选AI 评分77

CerebroVoice:用于双语脑信号到语音合成与语音活动检测的立体定向 EEG 数据集与基准

CerebroVoice: A Stereotactic EEG Dataset and Benchmark for Bilingual Brain-to-Speech Synthesis and Activity Detection

AI 导读

基于摘要分析。该研究针对双语脑信号到语音合成所需侵入式记录难以获取的问题,发布 CerebroVoice 数据集,并建立语音合成与语音活动检测(VAD)基准。研究对象是参与者朗读时记录的 sEEG 及其所说语音,而非想象语音或无声交流;作者称这是首个公开可获取、面向双语脑信号到语音合成整理的 sEEG 数据集。 数据包含朗读汉语普通话词语、英语词语及汉语普通话数字时的 sEEG 信号。语音合成任务要求根据记录重建参与者实际说出的语音。作者提出 Mixture of Bilingual Synergy Experts(MoBSE),利用语言感知的低秩专家权重动态组织机制,提高语言特定解码任务的效率。作者报告,该框架相较所比较的现有先进方法取得显著性能提升,重建语音更自然、更易理解;但摘要未提供具体指标、数值、基线名称或统计检验细节,因此尚不能量化其收益或判断跨被试、跨会话泛化能力。 VAD 任务判断参与者是否正在说话,基准采用三种已有架构进行评估。作者报告,在该基准所用的全部评估指标上,低频信号均优于高伽马活动,提示低频滤波可能更适用于这一数据与任务条件。该结果不能直接推广为所有 sEEG 或临床 BCI 场景中的频段优劣结论;具体频带、预处理和比较条件尚未验证。 作者说明数据集及基准已通过 Zenodo 和 GitHub 公开供研究使用,具体获取条件与实现内容尚未核实。复现时需核对被试数、记录与电极配置、双语数据分布、训练测试划分、语音评价指标及 VAD 标签定义。实验协议、消融及统计信息尚未验证,摘要也不足以支持临床有效性结论。

阅读价值

CerebroVoice 提供双语 sEEG 语音重建与 VAD 的数据和评估入口,值得核对其数据划分、MoBSE 对照及频段比较协议,以评估双语解码和低频信号的实际价值。

来源:OpenReview · EEG · openreview.net