用于少样本动作识别的轨迹对齐时空 token
Trajectory-Aligned Space-Time Tokens for Few-Shot Action Recognition
基于摘要分析。该研究面向视频少样本动作识别,提出轨迹对齐 token(Trajectory-Aligned Tokens,TATs),结合点轨迹跟踪与自监督表征学习组织运动和外观信息,再通过 Masked Space-time Transformer 聚合这些表征,用于动作识别。 核心思路是强调运动与外观表征的解耦,并借助点轨迹建立时空对齐的 token。作者称这种表示能够在保留关键信息的同时降低数据需求。摘要未交代点轨迹的具体生成方式、运动与外观的编码及融合机制,也未说明自监督训练目标、掩码策略或少样本适配流程,相关实现尚未验证。不能仅根据来源栏目将该方法归为 State Space Model;摘要明确描述的聚合模块是 Transformer。 作者报告,在多个数据集的少样本动作识别评估中取得当时的领先结果,但材料未提供数据集名称、支持集与查询集划分、每类样本数、评价指标、具体数值或对照基线。因此,性能收益与轨迹对齐、表征解耦、自监督学习各自的贡献仍需核对全文;实验协议、消融及统计信息尚未验证。摘要提及项目页面,但当前材料不足以确认代码、权重及复现配置的可用性。 本研究的直接对象是视频动作识别,而非 EEG 或 BCI。点轨迹所依赖的视觉空间对应关系不能直接等同于 EEG 通道与时间结构,摘要也未提供神经信号实验,不能据此宣称 BCI 有效性。已有 EEG 相关工作尚未检索确认。
值得核对轨迹对齐 token 如何组织运动与外观信息,以及其对少样本动作识别数据需求的影响;摘要中的领先性能主张仍需结合完整评估协议验证。
来源:OpenReview · State space models · openreview.net