跳到正文
OpenReview · EEG·· 24 天前精选AI 评分72

SpectraLoom:用于开放词汇 EEG-to-text 翻译的频谱注意力多尺度神经解码

SpectraLoom: Spectral-Attentive Multi-Scale Neural Decoding for Open-Vocabulary EEG-to-Text Translation

AI 导读

基于摘要分析。该研究从参与者阅读时每个注视词对应的 EEG 中生成所读句子,提出 SpectraLoom,以词相关频带注意力、多尺度时序编码和跨注意力桥接改善开放词汇 EEG-to-text 解码;其研究对象是阅读条件下的句子重建,不能直接等同于自由意图表达或实时通信 BCI。 核心机制包括:Spectral Band Attention(SBA)对每个词事件的八个频带切片计算词相关门控,使用 315 个参数并保留全部 840 个输入特征;Conv1D–BiLSTM 编码器并行处理覆盖三个、五个和七个相邻词事件的卷积窗口,再通过双向递归整合全句上下文;Cross-Attention Bridge(CAB)让每个词对齐的 EEG 状态关注整句信息,细化后输入 BART 编码器。摘要将这些设计分别对应于频带直接展平、单尺度上下文建模及固定线性投影的局限,但具体注意力计算、训练损失和模块连接细节尚未验证。 作者报告,在句子分组划分、相同解码设置和三个随机种子的统一协议下比较五个系统:在 ZuCo 1.0 域内评估中,SpectraLoom 的 ROUGE-L 为 16.80、词错误率为 97.55;在 ZuCo 2.0 零样本跨数据集评估中,分别为 17.65 和 92.70,均为所比较系统中最高 ROUGE-L 和最低词错误率。摘要未明确词错误率数值的单位或呈现尺度。作者另报告参数量比 T5-large 少 44%,但参数统计范围尚未验证。 作者报告其 teacher-forced BLEU-1 至 BLEU-4 最高;这类指标需与实际生成结果区分。三个种子的消融中,移除或简化任一组件均降低两个语料上的 BLEU-1 至 BLEU-4 和 ROUGE-L;词无关频带门控使 BLEU-1 降低 4.87,具体数据集与评估设置尚待核对。作者还报告 BLEU-1 的跨种子标准差为 0.74,而采用相同 BART-large 骨干的 BrainTranslator 为 3.35,该比较的具体评估场景尚未验证。 复现需核对句子分组方式、被试重叠、EEG 预处理、词事件对齐、解码配置及参数计数口径;摘要不足以确认跨被试或跨会话泛化。双向递归与整句注意力依赖完整句子上下文,在线使用需另行评估。作者提供了代码地址,但代码可用性、实验协议细节及统计信息尚未验证。

阅读价值

值得核对其统一协议下的频带门控、多尺度编码与跨注意力桥接消融,尤其需要区分 teacher-forced 指标与实际生成表现,并验证句子分组划分下的泛化边界。

来源:OpenReview · EEG · openreview.net