跳到正文
OpenReview · EEG· Jiaqi Wang; Zhenxi Song; Zhengyu Ma; Xipeng Qiu; Min Zhang; Zhiguo Zhang·· 2024-01-01精选AI 评分72

通过预训练对比式 EEG–文本掩码自编码器的可迁移表征增强 EEG-to-Text 解码

Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder

AI 导读

基于摘要分析。本文研究从非侵入式 EEG 重建自然语言,提出 Contrastive EEG-Text Masked Autoencoder(CET-MAE),结合跨模态自监督学习与模态内自重建;进一步构建 E2T-PTR(EEG-to-Text decoding using Pretrained Transferable Representations),将预训练 EEG 表征与 BART 对接以生成文本。 机制上,CET-MAE 通过专用多流编码器组织 EEG 与文本之间的跨模态学习,以及 EEG 特征或文本序列的模态内重建。E2T-PTR 利用预训练模块及 CET-MAE 的 EEG 流,将表征迁移至 EEG-to-Text 解码。摘要未提供具体掩码策略、对比目标、损失权重、模块冻结或微调方式,因此这些实现条件尚未验证。其主要研究价值在于联合表征学习与语言生成,而非仅依赖单一 EEG 编码任务。 作者报告,在文本诱发 EEG 数据库 ZuCo 上,E2T-PTR 相较文中所称的最先进方法,ROUGE-1 F1 与 BLEU-4 分别提高 8.34% 和 32.21%。摘要未说明这些百分比的计算口径、具体对照方法或绝对分数,不能将其解读为百分点提升;也未明确被试内、跨被试或其他划分协议,因而暂不能据此判断泛化能力。 复现与评估需核对 EEG–文本配对和预处理方式、预训练与下游数据的划分、BART 的训练及推理条件,以及各预训练组件的消融贡献。ZuCo 中的文本诱发 EEG 解码结果不等同于自由意图表达或在线 BCI 的有效性;还需区分 EEG 信息贡献与语言模型先验贡献。实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读的具体原因是 CET-MAE 将 EEG–文本跨模态对比学习与模态内掩码重建结合,并通过 E2T-PTR 对接 BART,可用于考察预训练表征对 EEG-to-Text 解码的贡献,但性能增益的评估协议与归因尚未验证。

来源:OpenReview · EEG · openreview.net