VIFSS:面向时序动作分割的视角不变与花样滑冰专用姿态表征学习
VIFSS: View-Invariant and Figure Skating-Specific Pose Representation Learning for Temporal Action Segmentation
基于摘要分析。本文研究花样滑冰视频中跳跃类型及发生时段的识别,针对标注不足、既有方法未充分考虑跳跃三维特征和动作程序结构的问题,提出结合姿态表征学习与细粒度阶段标注的时序动作分割(Temporal Action Segmentation,TAS)框架。研究对象是运动视频中的姿态与动作,不是 EEG 或 BCI。 方法方面,VIFSS 先通过视角不变对比学习进行预训练,再以动作分类进行微调。为支持预训练,作者构建了专用于花样滑冰跳跃的三维姿态数据集 FS-Jump3D,并称其为首个公开的此类数据集;这一优先性声明尚未独立核实。框架还引入标记“进入(准备)”与“落地”阶段的细粒度标注,使 TAS 模型能够学习跳跃的程序结构。摘要未披露对比样本构造、损失形式,以及表征学习与分割模型的具体衔接方式。 作者报告,在需要同时识别跳跃类型与旋转圈数级别的元素级 TAS 任务中,方法取得超过 92% 的 F1@50;该指标不应解释为分类 Accuracy。作者还报告,微调数据有限时,视角不变对比预训练尤其有效。数据规模、训练与测试划分、对照基线、消融及统计信息尚未验证,因此目前不能据此量化各模块的独立收益。 平台推测(待验证):可迁移的机制假设是,通过对比学习抑制与任务无关的观测变化,并借助阶段标注学习时序结构,可能有助于少标注的 EEG 时序解码。但原方法依赖三维姿态及可定义的视角变化,不能直接将其等同于 EEG 的跨被试或跨通道变化。若探索该方向,可保留预训练—微调流程,重新设计 EEG 编码器、正样本构造与阶段标签;低信噪比、通道差异及小数据可能导致增强破坏任务信息。一个可证伪的小实验是在固定跨被试划分和标注预算下,对比无预训练与候选不变性预训练,并检查任务相关信息是否被削弱。相关 EEG 工作尚未检索确认。
值得核对其视角不变对比预训练与动作阶段标注如何共同支持少标注条件下的细粒度动作分割,但摘要尚不能确认各模块的独立贡献或其对 EEG 的适用性。
来源:OpenReview · Representation learning · openreview.net