跳到正文
OpenReview · State space models· Pulkit Kumar; Namitha Padmanabhan; Luke Luo; Sai Saketh Rambhatla; Abhinav Shrivastava·· 2024-01-01精选AI 评分73

用于小样本动作识别的轨迹对齐时空 Token

Trajectory-aligned Space-time Tokens for Few-shot Action Recognition

AI 导读

基于摘要分析。本文研究小样本视频动作识别,提出轨迹对齐 token(trajectory-aligned tokens,TATs),结合点轨迹与自监督表征学习,强调运动与外观表征的解耦,并利用 Masked Space-time Transformer 聚合信息完成识别。 核心机制是借助跟踪得到的点轨迹构造对齐表征,使 token 承载运动与外观信息,而非仅依赖固定空间位置的视频表示。作者报告,该方法能够在保留关键信息的同时降低数据需求,并在多个数据集的小样本动作识别评估中取得最先进结果;摘要未提供数据集名称、任务划分、对照基线或数值,因而无法判断提升幅度及适用边界。轨迹提取流程、解耦的具体实现、自监督目标、掩码策略、训练资源,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在参考价值在于沿有意义的动态对应关系组织 token,再聚合时序信息;但原方法依赖视频中的可跟踪点及外观信息,EEG 通道并不直接对应这类轨迹。若尝试迁移,需要重新定义跨时间的信号对应关系,并改造 token 构造及掩码方式,不能直接把点轨迹等同于电极序列。低信噪比、跨被试差异、通道布局变化及小数据条件都可能使对齐不稳定。一个可证伪的小实验是假设动态对齐有益,在固定 EEG 数据划分、骨干模型与训练预算下,对比固定时间窗 token 与预先定义的动态对齐 token,并加入打乱对齐关系的对照,检验收益是否确实来自对齐机制。上述仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其利用点轨迹构建时空 token、分离运动与外观信息的小样本视频表征思路,但具体性能优势及其对 EEG 的可迁移性尚未验证。

来源:OpenReview · State space models · openreview.net