跳到正文
OpenReview · Representation learning· Dongqi Cai; Yangyuxuan Kang; Anbang Yao; Yurong Chen·· 2023-04-25精选AI 评分77

Ske2Grid:用于动作识别的骨架到网格表示学习

Ske2Grid: Skeleton-to-Grid Representation Learning for Action Recognition

AI 导读

基于摘要分析。Ske2Grid 研究基于人体骨架的动作识别,将骨架图转换为紧凑、类似图像的可学习网格表示,从而在该表示上使用规则卷积;其主要贡献是联合设计节点到网格的映射、节点插值与渐进式学习机制。 具体而言,graph-node index transform(GIT)将骨架图节点逐一分配到目标网格单元;可学习的 up-sampling transform(UPT)通过插值补充节点,以填满网格,并支持 GIT 的双射关系及更丰富的表示。针对单步 UPT 扩展幅度过大的问题,progressive learning strategy(PLS)将 UPT 拆分为多个步骤,通过紧凑级联设计与多个配对 GIT 对齐并逐步学习,以利用更大空间尺寸的网格表示。摘要未提供具体映射优化方式、插值公式、损失函数或训练细节。 作者在现有图卷积网络基础上构建网络,并在六个主流骨架动作识别数据集的不同基准设置下开展实验;作者报告 Ske2Grid 优于现有 GCN 方案。摘要未列出数据集名称、划分协议、评价指标、具体分数及统计检验,不能据此量化提升或判断不同设置之间的可比性。实验协议、消融及统计信息尚未验证。摘要提供了代码与模型的公开仓库地址,但其可运行性和复现条件尚未核对。 平台推测(待验证):可检验的迁移假设是,将 EEG 电极图映射为可学习网格,可能为规则卷积提供不同于固定头皮投影的输入表示。可复用的是节点映射、插值和渐进扩展思路;需改造的是电极空间约束、时间维处理及跨被试通道对应。原方法依赖骨架节点及图结构,而 EEG 的低信噪比、容积传导、通道缺失和小样本可能使插值放大冗余或使映射过拟合。一个小规模检验是在同一 EEG 数据集、相同跨被试划分和训练预算下,比较固定网格与可学习网格,并加入无 UPT 对照,检查收益是否稳定。此为迁移假设,不是原论文验证结果;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将不规则骨架图转换为可用规则卷积处理的网格表示,以及逐步学习插值与节点映射的设计;作者报告的识别优势仍需结合完整实验协议核对,EEG 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net