跳到正文
OpenReview · Representation learning· Shiyang Ye; Yuan Fang; Hong Liu; Hu Chen; Wenchao Du; Hongyu Yang·· 2024-01-01精选AI 评分72

DTPose:学习解耦 token 表示以实现有效的人体姿态估计

Dtpose: Learning Disentangled Token Representation For Effective Human Pose Estimation

AI 导读

基于摘要分析。该研究针对图像人体姿态估计中视觉外观与关键点几何关系混合学习可能受到模糊、自遮挡等因素干扰的问题,提出 DTPose,通过解耦 token 表示与分层空间解码改善关键点定位。 方法包含两个核心模块:Disentangled Token Representation 按顺序探索视觉线索与几何约束,而非在混合表示中同时学习二者;Hierarchical Spatial Decoding head 则旨在尽可能保留关键点的二维几何结构。摘要将缓解噪声干扰、充分利用外观与几何信息作为设计动机,但具体解耦运算、网络配置、损失函数与训练流程尚未验证。 作者报告,在 COCO validation 和 test-dev 集上,DTPose 分别达到 76.5 AP 和 75.7 AP,相对 TokenPose-L 分别提升 0.7 AP 和 0.6 AP。上述结果仅对应摘要所述的人体姿态估计评估;输入分辨率、骨干网络、预训练、推理设置、消融及统计信息尚未验证,需查阅全文确认比较条件。 平台推测(待验证):若 EEG 任务同时依赖局部信号特征与电极空间关系,可检验“先提取信号特征、再建模几何约束”的顺序解耦假设。原方法依赖图像视觉线索、关键点监督及二维几何结构,不能直接等同于 EEG 表征;需将视觉 token 与关键点解码改造为通道或时频 token 及任务输出。低信噪比、通道布局差异、跨被试变化和小数据均可能使该设计失效。一个可证伪的小实验是在固定数据划分、模型容量和训练预算下,比较混合建模与顺序解耦建模的 EEG 解码表现,并测试通道扰动下的稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对顺序解耦视觉线索与几何约束的 token 表示设计及其相对 TokenPose-L 的收益,但现有证据限于 COCO 人体姿态估计,不能据此认定其对 EEG/BCI 有效。

来源:OpenReview · Representation learning · openreview.net