跳到正文
OpenReview · Representation learning· Wenhui Cui; Christopher Michael Sandino; Hadi Pouransari; Ran Liu; Juri Minxha; Ellen L. Zippi; Erdrin Azemi; Behrooz Mahasseni·· 2026-01-26精选AI 评分75

EMBridge:通过跨模态表示学习增强 EMG 信号的手势泛化能力

EMBridge: Enhancing Gesture Generalization from EMG Signals Through Cross-modal Representation Learning

AI 导读

基于摘要分析。该研究针对可穿戴表面肌电(sEMG)手势分类中表示质量与未见手势泛化问题,提出 EMBridge,利用结构化姿态模态提供语义指导,学习可用于零样本手势分类的 EMG 表示。 机制方面,EMBridge 通过 Querying Transformer(Q-Former)、掩码姿态重建损失,以及 community-aware soft contrastive learning 目标,连接 EMG 与姿态模态,并对齐嵌入空间的相对几何结构。摘要未说明各模块的具体连接方式、损失公式、姿态表示形式,以及零样本推理时如何构造候选类别表示,这些均需全文核对。 结果方面,作者报告在分布内与未见手势分类任务上,相对所有参与比较的基线均获得一致提升;摘要未提供数据集、被试数、划分方式、基线名称或指标数值,因此不能据此判断提升幅度,也不能将未见手势泛化等同于跨被试或跨会话泛化。作者声称,据其所知,这是首个实现可穿戴 EMG 零样本手势分类的跨模态表示学习框架,该优先性尚未独立验证。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移价值在于用较丰富的结构化模态监督低信噪比生理信号表示。若用于 EEG 运动相关任务,需要假设 EEG 与姿态之间存在可学习的任务语义对应,并具备同步配对数据;可借鉴 Q-Former 与相对几何对齐思路,但需改造 EEG 编码与时间对齐模块。EEG 与肌肉活动的对应关系不同,低信噪比、跨被试差异、通道变化及小数据条件可能使姿态监督引入偏差。一个可证伪的小实验是在固定 EEG 编码器与被试隔离协议下,对比有无姿态对齐监督的未见动作类别分类表现;这不是已验证的 EEG/BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何通过姿态监督与嵌入空间相对几何对齐实现未见手势分类,尤其是零样本协议与语义信息来源;摘要尚不足以验证其泛化范围。

来源:OpenReview · Representation learning · openreview.net