跳到正文
arXiv · EEG DA / DG / TTA· Aoke Zhang; Bo Wang; Xihong Wu; Heping Cheng; Jing Chen·· 2026-08-23精选AI 评分75

非侵入式脑记录中感知语音解码的跨被试泛化

Cross-Subject Generalization in Decoding Perceived Speech from Non-Invasive Brain Recordings

AI 导读

基于摘要分析。本文研究从非侵入式脑记录中解码感知语音时的跨被试泛化问题,提出 Cross-Subject Perceived Speech Decoding(CPSD)框架,通过源模型预训练与个体化专门训练两个阶段提取跨被试共享信息,并适配目标被试。研究对象是感知语音解码,而非语音想象或发音运动解码。 在源模型预训练阶段,CPSD 使用对比学习学习多个源被试之间的共享表征;随后从源模型中提取一致性成分,用于初始化目标被试模型,再利用目标被试数据微调。因此,该流程包含目标被试数据适配,不能将其结果解释为完全不使用目标被试数据的零样本跨被试泛化。摘要未说明一致性成分的提取方式、对比样本构造、损失形式,以及微调所需的数据量与监督条件。 作者还提出 Positional Encoding-based Spatial Attention(PESA)模块,将 MEG/EEG 数据重映射到标准化参考空间,以增强跨被试空间一致性并辅助训练。其具体位置编码、空间映射方式,以及对不同传感器布局和通道数量的适用条件尚未验证。 作者报告,在涵盖不同模态与语言的三个感知语音神经数据集上,相比基线,Armeni 2022、PKUEEG 2025 和 Broderick 2018 的 Top-10 Accuracy 分别提升超过 6.8%、15.4% 和 15.8%。摘要未明确这些提升是相对百分比还是绝对百分点,也未提供基线名称、绝对分数、候选集合规模及详细划分协议,因此不宜据此比较不同数据集上的收益大小。 作者还报告进一步分析支持方法的有效性、效率与稳健性,但具体实验协议、消融及统计信息尚未验证。复现时需重点核对源被试与目标被试划分、目标被试微调数据预算、共享表征与 PESA 的独立贡献,以及各基线是否使用相同的目标被试数据条件。

阅读价值

值得核对 CPSD 如何将跨被试共享表征预训练与目标被试个体化微调结合,以及 PESA 的空间标准化是否带来独立收益;摘要报告了三个数据集上的提升,但提升口径与目标被试数据需求尚待全文验证。

来源:arXiv · EEG DA / DG / TTA · arxiv.org