跳到正文
OpenReview · EEG· shivansh sharma; Parthan Olikkal; Ramana Vinjamuri·· 2026-07-31AI 评分63

融合基于 EEG 的运动想象与视觉信息,实现实时机械臂控制

Multimodal Fusion of EEG-Based Motor Imagery and Vision for Real-Time Robotic Arm Control

AI 导读

基于摘要分析。本研究针对低通道可穿戴 EEG 与实时机器人执行的集成问题,评估被试特异的运动想象(MI)解码及 EEG 与视觉信息融合的闭环控制。作者报告,在 Pong 风格游戏任务中,EEG+Vision 相比 EEG-only 提高了平均命中率与平均净得分,为稀疏 EEG 辅助机器人控制提供了先导证据。 系统使用 8 通道 Unicorn Hybrid Black 头戴设备,以 250 Hz 采样,并控制 Kinova Gen3 机械臂。EEG 指令通过重叠的 1 秒窗口以 2 Hz 更新;窗口重叠与更新频率不能直接等同于端到端控制延迟。作者在相同 8 通道约束下离线比较 EEGNet、CTNet 和 FBMSNet,报告 EEGNet 的平均离线 Accuracy 最高,为 70.3%,并将其用于在线控制。摘要未提供被试人数、MI 类别、训练与测试划分,因此这一结果不能解释为跨被试泛化表现。 在线评估采用 Pong 风格游戏任务,对比 EEG-only 与 EEG+Vision 两种条件。作者报告,平均命中率由 69.4% 增至 75.3%,平均净得分由 +0.2 增至 +1.4,且没有参与者在 EEG+Vision 条件下表现更差。命中率属于任务完成指标,不应与离线 MI 分类 Accuracy 混用;上述结果也不足以单独确定统计显著性或更广泛的应用效果。 技术上,摘要将收益归因于稀疏 EEG 与快速任务状态视觉反馈的结合,并认为该方式保留了 EEG 所表达的用户意图。不过,视觉状态表示、融合规则、EEG 与视觉的控制权限分配,以及用户意图保留的验证方式均尚未验证。复现需核对信号预处理、模型训练设置、在线校准、条件顺序、闭环延迟及机器人控制映射;实验协议、消融及统计信息尚未验证。当前证据限定于该先导任务,不能直接外推为日常辅助控制或临床康复效果。

来源:OpenReview · EEG · openreview.net