跳到正文
arXiv · 表征与预训练· Qiaowei Miao; Yijing Guo; Lipei Zhang; Qifeng Cheng; Yuru Xiao; Ziqian Ni; Sheng Yang·· 1 天前精选AI 评分75

面向单目 4D 重建的因果时空状态演化

Causal Spatiotemporal State Evolution for Monocular 4D Reconstruction

AI 导读

基于摘要分析。本文研究单目视频中的动态 4D 场景重建,提出前馈式视觉几何学习框架,以定向状态传播建模场景随时间的演化,并用几何与运动耦合的监督约束帧间状态转移;主要研究对象是视觉几何,而非 EEG 或 BCI。 核心模块 Causal Spatiotemporal Mamba(CSM)采用互补的 Temporal-Spatial 与 Spatial-Temporal Scans,在视频帧之间传播几何感知状态。作者针对无序时间聚合难以体现时间方向的问题引入该机制;这里的“因果”指沿时间方向的状态演化,不应理解为因果效应识别。Unified Motion Supervision(UMS)利用相机与深度预测头的几何感知输出,构造与底层 3D 结构一致的统一前向运动场,从而联合约束运动、几何及帧间状态转移,而不是将运动作为独立目标。 作者报告,在动态场景基准上的视频深度、相机位姿及光流估计中达到最先进表现,并减少时间漂移、增强时空一致性。摘要未列出基准名称、划分、对照方法或定量指标,故尚不能核对优势幅度;训练规模、损失具体形式、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移假设是,定向状态传播可能为 EEG 的时间依赖建模提供参考,而非直接复用视觉几何监督。可复用的是状态传播与时空扫描思路;需将图像空间结构改造为电极拓扑,并重新定义适合神经信号的监督约束。原方法依赖单目视频中的几何—运动关系,EEG 并不存在可直接对应的相机、深度及运动场;低信噪比、通道差异和小样本条件也可能使状态误差累积。一个可证伪的小实验是在固定 EEG 任务与跨被试划分下,对照定向扫描和无序时间聚合,保持输入、训练预算及预测头一致,检验时间方向机制是否带来稳定收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将定向状态传播与几何约束下的统一运动监督结合的机制,但具体性能优势及其对 EEG 时序建模的适用性尚未验证。

来源:arXiv · 表征与预训练 · arxiv.org