跳到正文
OpenReview · Representation learning· Haifeng Xia; Kai Li; Martin Renqiang Min; Zhengming Ding·· 2023-01-01精选AI 评分70

通过表征融合与提升学习实现少样本视频分类

Few-Shot Video Classification via Representation Fusion and Promotion Learning

AI 导读

基于摘要分析。本文研究少样本视频分类(FSVC),针对单个任务中支持样本不足以提供丰富动作语义、冗余或无关视频帧削弱判别信息的问题,提出 Representation Fusion and Promotion Learning(RFPL),通过跨任务知识注入与帧重要性学习改善视频表征。 RFPL 包含 meta-action learning(MAL)与 reinforced image representation(RIR)两个子模块。作者在训练阶段在线学习任务共享的 meta-action bank,将全局知识注入任务特定的动作表征;同时利用强化学习估计各帧的重要性并细化表征,以突出判别帧对同类支持样本与查询样本相似性计算的贡献。相较于摘要所述的时序对齐或任务内 Transformer 表征学习,本文的侧重点是补充跨任务动作知识并抑制无关帧影响。具体奖励设计、知识库更新方式、损失函数和模块接口尚未验证。 作者报告,将 RFPL 集成到现有 FSVC 方法后能够显著提升性能,但摘要未给出数据集、少样本任务配置、对照方法、指标或数值,暂不能判断增益幅度与适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其机制可能对应少样本 EEG 分类中的任务内信息不足与无关时间片干扰,但原研究对象是视频动作而非 EEG。可考虑复用共享表征库与时间片加权思路,需重新设计 EEG 编码器、时间片定义及强化学习奖励。该迁移依赖可跨任务共享的表征,以及足以支持重要性学习的训练任务;低信噪比、跨被试差异、通道配置变化与小数据均可能使共享库或权重学习失效。一个可证伪的小实验是在固定 Cross-subject 划分和相同少样本预算下,对比基础编码器、仅加入共享库、仅加入时间片加权及两者组合,检验是否稳定改善同一分类指标。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以跨任务共享知识补充少样本表征、以强化学习突出判别帧的组合机制,但对现有 FSVC 方法的增益仅有摘要定性报告,EEG 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net