使用 Transformers 与基于 VAE 的数据增强解码 EEG 语音感知

基于摘要分析。该研究针对非侵入式 EEG 语音感知解码中的噪声、数据有限及复杂任务难以建模等问题，探索以变分自编码器（VAE）生成增强数据，并将原用于 EMG 任务的序列到序列架构迁移至 EEG 单词与句子解码，同时改造该架构用于单词分类。主要研究对象是听取叙述语音时的 EEG，而非无声或想象言语产生。 研究使用 Brennan dataset，其中包含被试听取叙述语音时的 EEG 记录。作者对数据进行预处理，并评估分类模型与序列到序列模型的 EEG-to-words/sentences 任务。标题明确涉及 Transformers，但摘要未提供具体结构、EEG 与文本的时间对齐方式、训练损失、文本监督形式，以及 VAE 生成数据如何加入训练等细节；其原架构在 EMG 中的表现也不能直接视为 EEG 场景下的优势证据。 作者报告，VAE 具有重构人工 EEG 数据用于增强的潜力；序列到序列模型在生成句子方面表现出比分类模型更有希望的结果，但两类任务仍具挑战。摘要未给出量化指标、对照基线及数据划分，因而不能据此确认数据增强带来稳定收益，也不能将不同输出任务的表现理解为同一评估协议下的直接比较。被试数、被试内或跨被试设置、实验协议、消融及统计信息尚未验证。 复现时值得核对 EEG—文本配对与切分方式、VAE 的训练数据范围、生成样本的有效性，以及句子评估能否区分 EEG 提供的信息与文本生成先验。作者将无声或想象言语列为可能的后续方向；当前摘要仅支持语音感知场景的探索，不构成对这些语音产生任务有效性的验证。