融合 EEG 与 sEMG 的混合式无声语音接口

基于摘要分析。该研究面向无声语音接口（Silent Speech Interface，SSI），尝试融合发音过程中产生的 EEG 与表面肌电（sEMG），将电生理信号转换为音频。核心贡献是通过两个 sequence-to-sequence 模型及多任务损失，利用语音意图与肌肉活动之间的互补信息。 技术机制：作者以双模态电生理信号与音频信号之间的转换为基础进行融合。摘要说明了模型数量和多任务学习思路，但未交代两个模型的具体输入输出、融合位置、损失项定义，以及训练时音频监督的来源；这些实现细节尚未验证。因而，目前可以确认的是其联合利用 EEG 与 sEMG 的方法方向，尚不能确定互补性通过何种约束实现。 结果与评估：作者报告，在无声语音数据集上，八名说话者的平均客观字符错误率（CER）为 7.22%，并据此认为该混合 SSI 有助于实现电生理信号到音频的转换。摘要未明确这一数值对应被试内还是跨被试评估，也未说明词表规模、数据划分及 CER 的计算流程，不能据此推断对未见说话者或开放词汇的泛化能力。CER 是字符级错误指标，不能替代对音频质量或可懂度的独立评估。 复现核对重点：需查明 EEG 与 sEMG 的同步采集和预处理方式、训练与测试划分、单模态及其他融合基线，以及多任务损失的消融结果，以判断收益来自模态互补还是其他训练因素。实验协议、消融及统计信息尚未验证；摘要也未提供可确认的数据与代码开放信息。