跳到正文
OpenReview · Representation learning· Di Yang; Yaohui Wang; Shuai Shao; François Brémond; Jiangtao Wang·· 2026-09-17精选AI 评分74

PRISM:学习用于可迁移骨架动作表示的共享基元空间

PRISM: Learning a Shared Primitive Space for Transferable Skeleton Action Representation

AI 导读

基于摘要分析。本文研究骨架动作理解中的长尾标签、组合运动与视角变化问题,提出 PRISM(PRImitive-centric Skeleton Modeling):通过动作生成目标学习共享运动表示,再迁移到动作分类和逐帧检测,以减少不同任务各自训练造成的表示割裂。 核心机制是将动作序列表示为基元系数空间中的轨迹,用系数描述一组学习得到的原子运动基元对观测动作的贡献。结构化分解模块通过动作生成学习这一表示,作者将其描述为具有物理依据且视角不变。下游通过轻量任务头顺序迁移共享表示,而非强制各任务联合训练。摘要未给出分解约束、损失形式、基元学习细节及迁移时的参数更新方式。 作者报告,在所评估的长尾和多标签数据集上,PRISM 持续改善性能,并支持对组合动作与稀有动作进行可解释分析;但摘要未提供数据集名称、划分、对照基线、具体指标或数值,因此无法判断收益幅度与跨任务泛化边界。实验协议、消融及统计信息尚未验证,复现仍需核对全文与实现条件。 平台推测(待验证):可迁移的机制假设是,以少量可组合基元及其时序系数缓解运动想象 EEG 中类别样本有限、共享时序结构难以复用的问题。但原方法依赖骨架运动数据及动作生成目标,不能直接视为 EEG 解码方法;可考虑复用基元字典与系数轨迹的表示思想,而输入编码、生成目标及物理约束均需改造。EEG 的低信噪比、跨被试差异和通道配置变化可能使基元主要表征噪声或个体特征,而非任务相关活动。一个可检验的小实验是在固定跨被试划分、相同编码器及训练预算下,对比加入与不加入基元分解的 EEG 表示,检查分类收益与基元稳定性;这仅是迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是以动作生成学习共享运动基元空间、再顺序迁移至分类与逐帧检测的表示复用机制,但其具体性能收益及对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net