跳到正文
OpenReview · Representation learning· Wanjiang Weng; Hongsong Wang; Junbo Wang; Lei He; Guosen Xie·· 2024-01-01精选AI 评分75

USDRL:基于多粒度特征去相关的统一骨架稠密表征学习

USDRL: Unified Skeleton-Based Dense Representation Learning with Multi-Grained Feature Decorrelation

AI 导读

基于摘要分析。本文研究基于骨架的动作表征学习,提出 USDRL,通过时间、空间与实例域的多粒度特征去相关减少表征维度间的冗余,并以 Dense Spatio-Temporal Encoder(DSTE)提取细粒度动作表征,兼顾动作识别、检索与检测任务。 机制与创新:作者指出,既有方法多依赖负样本,并借助额外的动量编码器和记忆库获取负样本,增加训练复杂度;同时偏重全局表征,未充分利用稠密预测所需的局部细节。USDRL 将多粒度去相关与稠密时空编码结合,试图同时改善信息提取与局部表征质量。摘要未给出去相关损失的具体形式、DSTE 结构及训练配置,不能据此确定各组件的独立贡献或计算开销。 结果与证据边界:作者报告,在 NTU-60、NTU-120、PKU-MMD I 和 PKU-MMD II 上,面向动作识别、动作检索和动作检测的实验优于所比较的 SOTA 方法;摘要未提供各数据集对应的任务协议、划分、指标或具体数值,优势幅度、实验协议、消融及统计信息尚未验证。作者提供了代码与模型链接,但其可运行性和复现条件尚未核验。 平台推测(待验证):可检验的迁移假设是,时间与空间维度的去相关可能帮助 EEG 表征减少冗余,但原研究依赖骨架关节的时空结构,不等同于 EEG 电极信号。迁移时需改造输入与空间关系编码,并核对实例构造和监督需求;低信噪比、跨被试差异、通道变化及小数据下,去相关约束也可能削弱有用的共同活动。可先在固定 EEG 数据划分与同一编码器下,对比无去相关和加入去相关约束的版本,分别核对被试内与跨被试表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以多粒度特征去相关兼顾全局表征与局部稠密表征的机制,但性能优势的具体幅度及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net