跳到正文
OpenReview · Representation learning· Haojun Xu; Yan Gao; Zheng Hui; Jie Li; Xinbo Gao·· 2023-12-31精选AI 评分73

语言知识辅助的骨架动作识别表征学习

Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition

AI 导读

基于摘要分析。本文研究骨架动作识别中如何利用先验知识辅助表征学习,提出 LA-GCN,将大语言模型(LLM)知识转化为图结构先验与额外监督,以学习更具类别区分性的动作特征。研究对象是骨架运动数据,而非 EEG 或 BCI;摘要中的脑区与认知机制描述属于方法动机,不构成神经机制验证。 方法包含两类知识映射:全局关系先验(GPR)拓扑用于指导生成新的“骨骼”表征,从数据层面强调重要节点信息;类别关系先验(CPR)拓扑由 PC-AC 模块编码,提供额外监督,促使模型学习可区分类别的特征。此外,多跳注意力图卷积同时聚合各节点的 k 阶邻域信息,作者将其用于改善拓扑建模的信息传递效率并加快收敛。摘要未交代具体 LLM、知识提取流程、拓扑构造公式、PC-AC 内部结构或损失形式。 作者报告 LA-GCN 在 NTU RGB+D、NTU RGB+D 120 和 NW-UCLA 上达到当时最优水平,但摘要未提供具体指标、数据划分及对照结果,因此无法核对各评估协议下的优势幅度。实验协议、消融及统计信息尚未验证;复现还需核对语言先验生成方式、骨架预处理、训练配置及实现可用性。 平台推测(待验证):可迁移的机制假设是以外部知识构造节点关系先验,并用多跳图聚合辅助 EEG 表征学习;但骨架关节与 EEG 电极并不等价,需要重建通道拓扑及其语言知识依据,类别先验监督也需单独验证。低信噪比、容积传导、跨被试差异和小数据可能使固定先验失效。一个可证伪的小实验是在固定 Cross-subject 划分下,以同一 EEG 图模型比较无先验、知识先验与随机拓扑,并仅用训练侧信息选择配置,检验收益是否确实来自知识关系。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注 LA-GCN 如何将语言知识分别转为节点拓扑先验与类别监督,但其骨架动作识别效果及各模块贡献仍需结合全文实验协议核对,不能据此认定对 EEG 有效。

来源:OpenReview · Representation learning · openreview.net