跳到正文
OpenReview · State space models· Xiangjun Zhang; Yinglin Zheng; Wenjin Deng; Qifeng Dai; Yuxin Lin; Wangzheng Shi; Ming Zeng·· 2023-01-01精选AI 评分72

用于三维人体重建的时空 Transformer 顶点位置估计

Vertex position estimation with spatial-temporal transformer for 3D human reconstruction

AI 导读

基于摘要分析。本文研究从单目图像或视频重建三维人体姿态与体形,针对逐帧非参数化重建在视频中可能产生不一致、不平滑结果的问题,提出使用时空 Transformer 直接回归人体网格顶点与身体关节的三维坐标。 摘要将逐帧方法区分为回归 SMPL 等参数化模型参数的方法,以及采用体积形状、三维坐标等替代表示的方法。作者认为非参数化表示具有更高灵活性,但需要进一步处理跨帧一致性。其核心组件为 SpatioTemporal Learning Block(STLB),包含 Spatial Learning Module(SLM)与 Temporal Learning Module(TLM),在身体 token 层面建模细粒度的空间与时间交互。摘要未说明 token 的具体构造、模块连接方式、损失函数或训练策略。 作者报告,该方法在 Human3.6M 和 3DPW 上优于此前的先进方法;摘要未提供具体指标、数值、数据划分或对照配置,因此尚不能判断提升幅度及其适用协议。实验协议、消融及统计信息尚未验证;时序平滑性与坐标重建精度之间的关系也需查阅全文确认。 平台推测(待验证):可供 EEG 方法研究参考的是空间关系与时间依赖的分解建模,而非人体重建任务本身。迁移假设是将身体 token 改为电极或脑区 token,并重新设计空间编码、输入特征和任务输出;人体网格的稳定拓扑与三维坐标监督不能直接沿用。EEG 的低信噪比、跨被试差异、通道布局变化及小样本条件可能使该建模方式失效。一个可检验的小实验是在固定 EEG 数据划分、相同预处理和近似模型规模下,对比仅空间、仅时间与联合建模,检验联合建模是否稳定改善任务指标。相关 EEG 工作尚未检索确认,原文的人体重建结果不构成 BCI 有效性证据。

阅读价值

值得关注其在身体 token 层面联合建模空间与时间关系、直接回归网格顶点和关节坐标的机制,但性能优势及其对 EEG 的适用性仍需分别验证。

来源:OpenReview · State space models · openreview.net