MindScribe:用于开放词表 EEG-to-Text 翻译的层次化 EEG 编码与对比对齐
MindScribe: Hierarchical EEG Encoding with Contrastive Alignment for Open-Vocabulary EEG-to-Text Translation
基于摘要分析。MindScribe 研究阅读任务中连续 EEG 到自然语言文本的转换,提出轻量级端到端多模态序列到序列架构,通过层次化 EEG 编码及双目标训练,对齐 EEG 潜在空间与预训练文本嵌入空间,直接生成开放词表文本。 研究针对两类困难:现有方法可能依赖眼动注视切分得到的词级 EEG 特征,或难以跨越连续脑活动与离散文本 token 之间的模态差异。MindScribe 的主要机制是从原始连续 EEG 建立层次化表示,再与文本表示对齐。标题将对齐描述为对比对齐,但摘要未给出双目标的具体组成、对比样本构造、损失形式、编码器结构或解码策略,这些细节尚未验证。“轻量级”也未提供参数量或计算成本依据。 作者报告,在合并的 ZuCo 1.0 与 ZuCo 2.0 数据上,针对 Task-Specific Reading(TSR)和 Normal Reading(NR)任务取得 28.20 BLEU-1 与 33.10 ROUGE-1 F1,并称相对现有基线具有竞争力。摘要未明确这些数值是两项任务的汇总结果还是其他统计口径,也未提供被试内、跨被试或跨会话协议、训练测试划分及具体基线,因此不能据此判断泛化能力或不同协议下的优势。 全文核对重点包括连续 EEG 的输入组织与预处理、是否仍借助眼动或文本边界信息、预训练文本模块的训练与推理角色,以及开放词表生成的评估方式。实验协议、消融及统计信息尚未验证;代码、权重和复现配置的可用性亦尚未验证。其证据范围是阅读条件下的 EEG-to-Text,不能直接外推为自由意念表达或无需阅读刺激的 BCI 文本生成。
来源:OpenReview · EEG · openreview.net