BiGSTF-Net:用于 EEG-fNIRS 认知分类的模态间相互引导与模态内时空融合
BiGSTF-Net: inter-modal mutual guidance and intra-modal spatio-temporal fusion for EEG-fNIRS cognitive classification.
基于摘要分析。该研究针对 EEG 与 fNIRS 在电生理和血流动力学特征上的异质性,提出 Bi-modal Guidance and Spatio-Temporal Fusion Network(BiGSTF-Net),旨在利用两种信号的互补信息改善 BCI 认知状态解码。其核心贡献是结合模态间双向引导与模态内时空特征整合,同时保留各模态的特有信息。 方法上,框架先通过异构时空特征提取器,从各模态获取偏重时间与偏重空间的表征;随后利用 Modal Residual Interaction Unit 实现双向模态交互,并保留模态特性;再由 Spatio-Temporal Gated Unit 完成模态内特征整合,形成紧凑且具有判别性的表征。摘要未披露提取器结构、交互与门控的具体计算方式,也未给出损失函数及训练细节。 作者报告,在多个 BCI 数据集的跨会话评估中,BiGSTF-Net 持续优于代表性的多模态融合基线;作者同时报告,消融研究支持所提架构组件的有效性,可视化激活模式与 EEG、fNIRS 的已知神经生理特征相符。摘要未提供数据集名称、被试数、具体认知任务、指标、分数及基线名称,因此无法量化增益或比较不同评估协议下的表现;可视化一致性也不能单独确立机制解释。 复现时需核对两种模态的时间对齐与预处理、跨会话划分、组件消融设置及统计检验。实验协议、消融及统计信息尚未验证,代码与数据可获得性亦尚未验证。跨会话结果不等同于已验证跨被试或跨数据集泛化能力。
值得关注其将模态间双向引导与模态内时空融合分开设计的机制,以及作者报告的跨会话评估结果;具体增益、协议与消融证据仍需全文核对。
来源:Europe PMC · EEG DA / DG / TTA · doi.org