MSF-Mamba:用于高效微手势识别的运动感知状态融合 Mamba
MSF-Mamba: Motion-aware State Fusion Mamba for Efficient Micro-Gesture Recognition
基于摘要分析。本文研究微手势识别(Micro-Gesture Recognition,MGR),目标是同时捕捉细微人体运动中的局部时空线索与长程依赖。作者提出 MSF-Mamba,通过运动感知的局部邻域状态融合增强 Mamba,并提出多尺度版本 MSF-Mamba+;研究对象是人体微手势,而非 EEG 或 BCI。 核心机制:作者认为,直接采用 vanilla Mamba 的一维序列处理方式不足以建模 MGR 所需的局部时空关系。MSF-Mamba 融合局部上下文中的相邻状态,并以中心帧差分(central frame difference,CFD)构建运动感知状态融合模块。多尺度版本进一步引入不同尺度的状态融合及自适应尺度加权,动态组合各尺度的融合状态。摘要未提供状态融合公式、输入表示、训练目标与具体计算复杂度,这些细节尚未验证。 结果与证据边界:作者报告,在两个公开 MGR 数据集上,轻量版本 MSF-Mamba 达到 SoTA 表现,优于所比较的 CNN、Transformer 和 SSM 模型,同时保持较高效率。摘要未列出数据集名称、划分方式、指标数值、基线配置或效率测量条件,因此不能量化优势,也不能直接与其他协议下的结果比较;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,用局部邻域状态融合补充长程序列建模,可能适用于 EEG 的局部时间变化与通道关联建模;但 CFD 在原任务中针对帧间运动,不能直接视为 EEG 的有效特征。可复用的是状态融合与尺度加权思路,需改造的是通道邻域定义及差分引导信号。低信噪比下差分可能放大噪声,跨被试差异、通道布局变化及小数据也可能削弱收益。一个可证伪的小实验是在固定 EEG 数据划分与训练预算下,对比 vanilla Mamba、局部状态融合及差分引导融合,检查识别指标和计算开销,并核对噪声扰动下的稳定性。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。
值得阅读的是以中心帧差分引导局部邻域状态融合、补充 Mamba 局部时空建模的机制;其微手势识别性能与效率优势为作者报告,具体实验协议及 EEG 迁移有效性尚未验证。
来源:OpenReview · State space models · openreview.net