STRUM:用于生理信号模态比较的双人多模态基准
STRUM: A Dyadic Multimodal Benchmark for Comparison of Physiological Modalities
基于摘要分析。STRUM 面向生理信号表征学习中跨模态比较易受被试与采集设备差异混淆的问题,通过同步记录合作游戏中两名参与者的多模态信号,建立连续自主神经指标回归基准;主要研究对象并非运动想象或其他典型 BCI 控制任务。 数据包含 66 名参与者组成的 33 个双人组,记录时长约 87 小时。双方均在同一时钟下采集十一类数据流,包括每人 205 通道头皮 EEG,以及肌肉、心脏、眼部、电皮肤、呼吸信号、眼动追踪、动作捕捉、游戏内角色、测力台和控制器数据。作者报告,两名参与者的神经记录对齐误差中位数为 0.208 ms。 基准定义两项不依赖离散事件的连续回归任务:从其余同步采集的通道预测个人的相位性电皮肤唤醒和平均心率,采用留一双人组交叉验证,并提供固定划分和参考数据加载器。这一设计以双人组为划分单位,可用于比较同一采集条件下不同模态的预测能力。 作者报告,在该协议下,模态选择对两项任务解码表现的影响大于模型选择。在心率预测比较中,仅颈部肌肉信号达到相关系数 r = 0.4449,优于同一比较中的其他单模态;在匹配时间窗下,EEG 预训练编码器未超过直接在肌肉信号上训练的小型网络。作者报告,使用现成编码器的全模态融合达到 r = 0.5072,相比最佳单模态的 0.4449,提升约 0.062。 该基准的具体价值在于为辨析神经记录中肌肉、眼部及心脏相关信号的预测贡献提供同步对照,而非证明 EEG 对所有任务都不如外周生理信号。双人同步记录也为双人组层面的目标测量提供条件,但摘要未给出相应评估结果。尚需核对目标计算、输入通道排除、预处理、时间窗、融合方法、预训练编码器配置及统计不确定性;实验协议细节、消融及统计信息尚未验证,数据访问条件也需进一步确认。
STRUM 通过同一被试同步多模态采集及留一双人组评估,为核对连续自主神经指标解码中模态选择与编码器选择的相对影响提供了可复现基准,但其结论不宜外推到其他 BCI 任务。
来源:OpenReview · EEG · openreview.net