MSF-Mamba:用于高效微手势识别的运动感知状态融合 Mamba
MSF-Mamba: Motion-aware State Fusion Mamba for Efficient Micro-Gesture Recognition
基于摘要分析。本文研究视频中的微手势识别(MGR),提出 MSF-Mamba,通过融合局部时空邻域状态,为 Mamba 引入运动感知与局部建模能力;其多尺度版本 MSF-Mamba+ 进一步结合多尺度状态融合与自适应尺度加权。 作者认为,直接将一维序列形式的原始 Mamba 用于 MGR,难以充分建模细微动作所需的局部时空依赖。为此,MSF-Mamba 使用基于 central frame difference(CFD,中心帧差分)的运动感知状态融合模块,将邻域上下文纳入状态建模。MSF-Mamba+ 则动态加权不同尺度的融合状态。摘要未提供融合公式、具体尺度、损失函数及训练配置,尚不能据此判断各模块的实现代价与独立贡献。 作者报告,在公开 MGR 数据集 SMG 和 iMiGUE 上,轻量版本 MSF-Mamba 相对 VideoMamba 的 Top-1 Accuracy 提升分别记为 +2.2% 和 +1.5%;MSF-Mamba+ 的对应提升记为 2.9% 和 3.0%。这些增量沿用摘要表述,究竟表示相对百分比还是百分点尚需核对。摘要未说明数据划分与评估协议,因而不能据此作跨协议比较。作者还报告其优于已有 CNN、Transformer 和 SSM 方法并保持较高效率,但绝对准确率、计算量、延迟、消融及统计信息尚未验证。代码被描述为将公开,当前可用性尚未验证。 平台推测(待验证):局部邻域状态融合可能对应 EEG 中短时波形与长程依赖的联合建模瓶颈,但视频帧差分依赖视觉空间结构与运动线索,并不直接等同于 EEG 神经活动变化。可考虑复用状态融合及尺度加权机制,重新设计时间差分与通道邻域;低信噪比、差分放大噪声、跨被试差异和小数据过拟合均可能使迁移失败。一个可检验的小实验是在固定 EEG 任务和相同跨被试划分下,对比原始 Mamba、局部状态融合及差分引导融合,并同时记录分类指标与计算开销。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。
值得核对其基于 central frame difference 的局部状态融合能否在保持计算效率的同时改善细微动作识别;摘要报告了相对 VideoMamba 的收益,但评估划分、效率指标与消融尚未验证。
来源:OpenReview · State space models · openreview.net