通过运动增强与注意力跨模态交互进行压缩视频动作识别的表征学习

基于摘要分析。本文研究压缩视频动作识别：以稀疏采样的 RGB 帧和压缩运动线索替代原始视频，降低存储与计算成本，同时应对运动信息粗糙、噪声较大及异构模态融合不足的问题。作者提出 Attentive Cross-modal Interaction Network with Motion Enhancement（MEACI-Net），将运动表征增强与跨模态交互结合。 方法采用 RGB 与运动两条流。运动流使用嵌入去噪模块的多尺度模块增强表征；Selective Motion Complement（SMC）通过具有时空注意力的局部运动特征补充 RGB 模态，Cross-Modality Augment（CMA）则通过选择性特征增强进一步融合两种模态。其机制重点不仅是融合最终特征，还包括先改善运动线索质量，再建立局部补充与跨模态增强。 作者报告在 UCF-101、HMDB-51 和 Kinetics-400 上的实验支持 MEACI-Net 的有效性与效率，但摘要未提供具体指标、数值、数据划分或对照基线，无法量化收益。模块实现、损失函数、训练配置、消融及统计信息尚未验证；复现还需核对压缩运动线索的提取方式，以及效率评估是否计入预处理开销。 平台推测（待验证）：可迁移的假设是，去噪后再进行选择性交互，可能适用于具有同步互补信息的 EEG 多模态识别。可借鉴去噪与选择性融合机制，但需改造视频时空特征提取及跨模态对齐模块；压缩运动线索与 EEG 的噪声结构并不相同，低信噪比、通道差异、跨被试变化及小样本可能使注意力偏向伪相关。一个可检验的小实验是在同步 EEG 与辅助模态数据上，固定特征编码器及跨被试划分，对比简单融合、仅去噪和去噪加选择性交互，并施加辅助模态噪声检验稳健性。相关 EEG 工作尚未检索确认，原视频结果不构成 BCI 有效性的证据。