跳到正文
arXiv · 多模态与生成机制· Liudi Yang; Ziyuan Liu·· 2 天前精选AI 评分72

GeoART:通过测试时扩展实现相机条件视频扩散的几何感知细化

GeoART: Geometry-Aware Refinement via Test-Time Scaling for Camera-Conditioned Video Diffusion

AI 导读

基于摘要分析。该研究针对相机条件视频扩散模型中相机控制不准确、生成内容几何不一致的问题,提出免训练的自细化框架 GeoART,通过几何感知的测试时扩展增强相机可控性,无需训练或修改预训练视频扩散模型。 其核心机制是在选定的去噪步骤中,通过 Predict-and-Perturb 循环生成多个候选,再利用几何先验评估候选。摘要称该过程不直接修改去噪轨迹,而是选择下一细化状态。置信度门控用于抑制不可靠的几何证据;秩校准概率选择则结合分数大小与相对排名进行选择。这里的测试时扩展侧重于增加推理阶段的候选生成与筛选,不应等同于更新模型参数的测试时自适应。 作者报告,相较于已有采样和自细化方法,GeoART 在相机可控性、多视图一致性与视觉质量上均有持续改善。摘要未给出数据集、预训练模型名称、评估指标、提升幅度、候选数量或额外推理成本,因此尚无法核对效果与计算开销的权衡;实验协议、消融及统计信息尚未验证。复现时需进一步核对几何先验来源、置信度门控规则、候选扰动方式及概率选择的具体定义。 原论文研究对象是相机条件视频生成,而非神经信号解码。现有材料未建立几何先验与 EEG/BCI 任务之间的具体对应关系,因此不据此提出迁移效果或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以几何先验、置信度门控和候选选择实现免训练推理时细化的机制,但摘要未提供量化结果与计算开销,尚不能判断收益及其对 EEG/BCI 的适用性。

来源:arXiv · 多模态与生成机制 · arxiv.org