BrainECHO：通过向量量化声谱图重建与 Whisper 增强文本生成实现语义脑信号解码

基于摘要分析。BrainECHO 研究 EEG/MEG 到文本的语义解码，针对 teacher forcing 依赖、会话特异性噪声及预训练语言模型过度主导导致的表征错位，提出以离散声学表征为中介的三阶段解耦学习框架。 核心机制包括：首先通过离散自编码，将连续 Mel spectrogram 转换为有限的离散表征；随后在冻结潜在空间中，将脑信号嵌入对齐到对应的 Mel spectrogram 嵌入，利用向量量化重建抑制会话特异性噪声；最后进行约束解码微调，借助预训练 Whisper 完成音频到文本转换，在信号适配与预训练知识保留之间取得平衡。其可核对的方法价值在于，脑信号不直接对齐文本，而是经由声学潜在表征连接 Whisper；具体约束、损失及训练阶段的冻结范围尚未验证。 作者报告，在 EEG 和 MEG 数据集上达到其所称的最先进表现，冻结对齐阶段带来 BLEU-4 分数 3.65% 的提升；摘要未明确这是相对增幅还是绝对分数变化，也未提供对应数据集、基线及划分。作者另报告解码 BLEU 分数为 74%–89%，但未说明该范围对应的 BLEU 阶数、数据集和评估条件，不能与 BLEU-4 提升直接合并解读。作者报告模型在句子独立、Cross-session 和 Cross-subject 条件下具有稳健性，并通过 Gaussian noise 测试；各条件与上述分数的对应关系尚未验证。 复现时需核对脑信号与声谱图的配对方式、离散表征学习的数据范围、Whisper 微调约束，以及训练和推理阶段的 teacher forcing 使用方式。数据集名称、被试规模、划分细节、对照基线、消融及统计信息尚未验证；摘要所述结果尚不足以确认自然使用场景中的语言 BCI 有效性。