跳到正文
OpenReview · State space models·· 29 天前精选AI 评分78

ForceVid3D:通过相机坐标系三维力控制生成物理响应视频

ForceVid3D: Physical Video Generation with Camera-Space 3D Force Control

AI 导读

基于摘要分析。该研究面向外力控制的视频生成:给定初始图像和相机坐标系中的显式三维力,生成与场景相关的物理响应视频。ForceVid3D 的核心贡献是将三维力的投影表示与深度约束的响应监督结合,并配套构建训练数据集和评估基准。 方法上,Projective 3D Force Map 将力的作用范围、方向、大小与投影线索结合,旨在弥补图像平面二维表示难以完整表达相机坐标系三维力的问题。Depth-Grounded Response Affinity Supervision(D-RAS)结合响应亲和性目标与局部相对深度目标,帮助模型捕捉响应区域及其局部几何背景。摘要未提供这些目标的具体形式、模型架构或训练流程。 数据方面,作者构建了包含 60K 个力—视频配对、覆盖七类响应组的 ForceVid3D-Dataset,并提出用于力到响应评估的 ForceVid3D-Bench;数据来源、响应组定义及训练与测试划分尚未验证。 结果方面,作者报告,在可比的二维力控制设置下,相较既有力条件生成方法,ForceVid3D 在力遵循程度和物理一致性上取得持续改进,同时保持有竞争力的视觉质量;作者还报告,专门的三维评估展示了相机坐标系三维力控制能力,受控消融支持投影表示与 D-RAS 的贡献。摘要未给出具体指标、数值、基线名单及统计信息,尚不能量化改进幅度或独立判断泛化范围。 该工作的主要研究对象是视觉场景中的物理响应生成,并非 EEG 解码或 BCI。现有材料没有提供与神经信号建模的具体机制对应,因此不据此推导 BCI 有效性或提出迁移实验。复现条件仍需核对数据与实现的可获取性、三维力及深度监督的来源和评估协议。

阅读价值

值得关注其如何通过投影式三维力表示和深度约束监督连接控制输入与场景响应,但具体收益仍需结合全文中的评估协议、指标及消融结果核对。

来源:OpenReview · State space models · openreview.net