跳到正文
OpenReview · EEG· Scott Wellington; Holly Wilson; Foteini Simistira Liwicki; Vibha Gupta; Rajkumar Saini; Kanjar De; Nosheen Abid; Sumit Rakesh; Johan Eriksson; Oliver Watts; Xi Chen; Damien Coyle; Mohammad Golbabaee; Michael J. Proulx; Marcus Liwicki; Eamonn O'Neill; Benjamin Metcalfe·· 2024-12-17AI 评分65

通过双模态 EEG 与 fMRI 数据融合改进内言语解码

Improving inner speech decoding by hybridisation of bimodal EEG and fMRI data

AI 导读

基于摘要分析。本研究探讨融合 EEG 与 fMRI 是否能较单模态模型改善内言语解码,并比较两条融合路径:拼接单模态机器学习模型输出的概率向量,以及结合特征工程的数据融合。 研究采集了四名参与者执行相同内言语任务时的数据,任务为跨两个语义类别的 8 词分类。第一条路径利用 EEG 与 fMRI 单模态模型的预测输出进行融合;第二条路径在数据与特征处理环节实施融合。摘要未说明具体分类器、特征工程步骤、融合后的训练方式,也未交代两种模态是否同步采集,这些实现条件尚未验证。 作者报告,所有参与者的内言语解码性能均在采用双模态融合策略后提升,Accuracy 平均增幅为 6.025%。这一结果来自上述四名参与者的 8 词分类任务;摘要讨论的是被试依赖融合模型,不能将其视为跨被试泛化证据。该增幅究竟为相对百分比还是百分点、相对于哪一种单模态基线计算,以及两类融合方法分别取得何种结果,尚需全文核对。 作者还报告,不同参与者的数据呈现不同的潜在结构,且这种差异与被试依赖融合模型的解码表现相关。其具体结构定义、分析方法与相关性统计尚未验证,因此不能据此确定性能差异的因果机制。 复现时需核对数据划分、单模态与融合模型的对应对照、两种模态的配对与对齐方式,以及特征工程和融合训练的具体流程。实验协议、消融及统计信息尚未验证;摘要结果也不足以确认仅使用 EEG 部署时是否仍能获得增益,或该方案是否适用于在线 BCI。

来源:OpenReview · EEG · openreview.net