基于生成对抗网络的 EEG–眼动跨模态决策信心测量
EEG-Eye Movements Cross-Modal Decision Confidence Measurement with Generative Adversarial Networks
基于摘要分析。该研究针对多模态决策信心测量依赖 EEG 采集、成本较高的问题,提出基于生成对抗学习的 EEG–眼动跨模态方法:训练阶段学习两类信号在高层特征空间中的内在关系,测试阶段仅输入眼动,以利用跨模态信息测量决策信心。 核心机制是将训练阶段可用的 EEG 信息用于建立跨模态特征关系,而非在测试阶段继续采集 EEG。其贡献定位于降低推理时的模态依赖;摘要不足以确认模型生成的是 EEG 特征、共享表示还是其他中间信息,也未提供网络结构、对抗目标及其他损失的具体形式,这些内容尚未验证。 作者报告,在 SEED-VPDC 数据集上,相较于训练和测试均仅使用眼动信号的单模态方法,所提方法的 Accuracy 提升约 5.43%,并与多模态方法保持有竞争力的表现。摘要未明确该提升是相对百分比还是百分点,因此不能进一步换算;被试内、跨被试或跨会话协议、数据划分、基线配置、绝对 Accuracy、消融及统计信息尚未验证,不能据此判断不同泛化条件下的优势。 复现时应核对训练数据中 EEG 与眼动的对应及同步方式、决策信心标签定义、特征处理、生成对抗训练设置,以及各基线的数据与训练条件是否一致。测试时不需要 EEG,并不等于训练阶段不依赖 EEG;眼动与 EEG 的特征关系能否在不同被试和采集条件下保持稳定,仍需完整实验支持。本文研究对象是决策信心测量,摘要并未验证其对通用 BCI 解码任务的效果。
值得阅读的是其训练时利用 EEG 与眼动、测试时仅依赖眼动的跨模态机制,可用于评估降低决策信心测量采集成本的可行性,但性能增益及适用范围仍需核对完整实验协议。
来源:OpenReview · EEG · openreview.net