跳到正文
OpenReview · State space models· Pulkit Kumar; Namitha Padmanabhan; Luke Luo; Sai Saketh Rambhatla; Abhinav Shrivastava·· 2024-01-01精选AI 评分73

用于小样本动作识别的轨迹对齐时空 Token

Trajectory-aligned Space-time Tokens for Few-shot Action Recognition

AI 导读

基于摘要分析。该研究面向视频小样本动作识别,提出轨迹对齐 token(trajectory-aligned tokens,TATs),结合点轨迹与自监督表征学习来表达运动和外观信息,再通过 Masked Space-time Transformer 聚合信息以完成识别。核心思路是强调运动与外观表征的解耦,在保留关键信息的同时降低数据需求。 机制方面,点轨迹为时空表征提供对齐依据,自监督表征学习用于构建 TATs;Masked Space-time Transformer 则负责聚合这些表征。摘要未说明轨迹提取方式、运动与外观的具体解耦机制、掩码策略、训练目标及推理流程,不能据此判断其具体实现或各模块的独立贡献。 作者报告,该方法在多个数据集的小样本动作识别评估中取得当时最优结果,并显著降低数据需求;但摘要未列出数据集、类别与样本划分、对照方法、指标或具体数值,实验协议、消融及统计信息尚未验证。摘要提供了项目页,代码、模型权重与运行条件尚未验证。 平台推测(待验证):假设 EEG 中能够构造稳定的动态对应关系,其“先对齐动态结构、再聚合时空信息”的思路可能用于探索小样本表征学习;但视频点轨迹依赖可跟踪的视觉结构,不能直接等同于 EEG 电极或信号源。迁移时需重设计轨迹构造和输入表征,可考虑复用对齐后 token 聚合的思想。低信噪比、跨被试差异、通道布局变化及小数据条件下的对齐不稳定,均可能使该假设失效。可检验的小实验是在固定 EEG 任务与跨被试划分下,比较动态对齐 token 和不对齐 token,并控制训练样本量与聚合模型一致;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其利用点轨迹构建时空 token、分离运动与外观信息的小样本学习思路,但其数据效率优势及向 EEG 迁移的可行性尚需核对实验与验证。

来源:OpenReview · State space models · openreview.net