跳到正文
OpenReview · State space models· Yuxi Xiao; Qianqian Wang; Shangzhan Zhang; Nan Xue; Sida Peng; Yujun Shen; Xiaowei Zhou·· 2024-01-01精选AI 评分78

SpatialTracker:在三维空间中跟踪任意二维像素

SpatialTracker: Tracking Any 2D Pixels in 3D Space

AI 导读

基于摘要分析。该研究面向视频中的稠密、长程像素运动跟踪,提出 SpatialTracker:将二维像素提升至三维空间后估计轨迹,以缓解三维到二维投影带来的遮挡与运动不连续问题。其核心假设是,复杂的二维表观运动背后,三维运动往往更简单且具有低维结构。 方法首先借助单目深度估计器将二维像素提升至三维,以 triplane(三平面)表示高效编码每帧的三维内容,再通过 transformer 迭代更新三维轨迹。三维跟踪还允许引入 as-rigid-as-possible(ARAP,尽可能刚性)约束,并学习将像素聚为不同刚性部件的 rigidity embedding(刚性嵌入)。摘要未给出这些模块的具体损失形式、训练监督或交互方式,尚不能判断各模块的独立贡献。 作者报告,在其评估条件下,该方法在定性与定量跟踪表现上达到最先进水平,尤其适用于平面外旋转等困难情形;但摘要未提供数据集、指标、数值、划分或对照基线,相关结论仍需全文核对。实验协议、消融及统计信息尚未验证。复现时需进一步确认单目深度估计器、尺度处理、遮挡评估方式,以及深度误差和非刚性运动对轨迹估计的影响。材料提供了项目页,但代码、权重与运行条件尚未验证。 该工作的主要对象是具有图像坐标、深度与三维几何结构的视频像素,并非 EEG 或 BCI。摘要没有建立其几何约束与神经信号建模之间的具体对应关系,因此不据此生成 EEG 迁移方案;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过三维表示与局部刚性约束缓解二维投影所致遮挡和运动不连续的机制;作者报告的跟踪优势仍需结合全文中的深度估计条件、评估协议与消融核对,不能据此推断 EEG/BCI 有效性。

来源:OpenReview · State space models · openreview.net