跳到正文
OpenReview · EEG· Jarod Lévy; Mingfang Zhang; Svetlana Pinet; Jérémy Rapin; Hubert J. Banville; Stéphane d'Ascoli; Jean-Rémi King·· 2025-01-01精选AI 评分77

脑到文本解码:通过打字实现的非侵入式方法

Brain-to-Text Decoding: A Non-invasive Approach via Typing

AI 导读

基于摘要分析。本研究探索能否从非侵入式脑活动记录中解码句子生成,提出深度学习架构 Brain2Qwerty,用于在参与者使用 QWERTY 键盘输入短暂记忆的句子时,从 EEG 或 MEG 解码文本。研究纳入 35 名健康志愿者,主要贡献是在这一打字任务中展示句子级解码能力,并比较两种记录模态的表现。 作者报告,在上述任务条件下,Brain2Qwerty 的 MEG 平均字符错误率(CER)为 32%,EEG 的 CER 为 67%;表现最佳参与者的 CER 为 19%,并可完全正确解码若干训练集之外的句子。摘要未明确最佳参与者结果的具体模态、人数及汇总方式,也未说明训练集外句子的划分细节,因此这些结果不能直接解释为跨被试、跨会话或自由文本输入条件下的泛化能力。CER 是字符级错误指标,不应与词错误率或 Accuracy 混用。 机制方面,作者报告,错误分析提示解码依赖运动过程,而对打字错误的分析提示高层认知因素也参与其中。这为区分打字动作相关信息与句子生成相关信息提供了研究线索,但摘要不足以确定各类信号的独立贡献,也不能将本任务等同于无动作的内言语解码。 Brain2Qwerty 的具体网络结构、输入预处理、训练目标、文本解码流程,以及是否使用语言模型均尚未验证;被试内或跨被试训练方式、数据划分、对照基线、消融及统计信息也尚未验证。复现时需从全文核对这些条件,尤其是训练集外句子的定义及不同模态结果的比较协议。 作者将结果视为缩小侵入式与非侵入式解码差距的进展。其临床适用性仍需单独验证:当前证据来自能够实际打字的健康参与者,不能据此推断无法运动或交流的患者可获得同等解码效果。

阅读价值

值得阅读的是 Brain2Qwerty 在同一打字任务下比较 EEG 与 MEG 的句子解码表现,并通过错误分析探索运动与高层认知因素的贡献,但健康参与者打字条件下的结果尚不能证明其适用于无法交流的患者。

来源:OpenReview · EEG · openreview.net