Velox:空间记忆提升世界模型效率
Velox: Spatial Memory Makes World Models Efficient
基于摘要分析。本文研究视频世界模型在长序列交互生成中,如何兼顾视觉记忆与响应速度。作者提出 Velox,一种无需训练的注意力路由方法,利用流式几何提供的视锥分层对应关系,在区域层面选择历史上下文,减少随生成长度增长的注意力计算。 其主要对象是将动作与相机运动转化为长视频序列的分块视频扩散模型,而非神经信号建模。此类模型通常借助不断增长的 KV cache 保留历史信息,导致后续分块生成逐渐变慢。Velox 将历史块表示为带深度区间的相机视锥分层,并通过 recency-priority multiwarp 获取当前块的深度。对几何覆盖充分的区域,视锥分层重叠程度用于软调节各层由模型自身得到的块重要性;未覆盖区域则保留模型原有路由,不施加几何偏置。其固定 token 块粒度与 FlashAttention 风格的分块执行相匹配,视锥分层构建与去噪在同一块 H200 上异步运行。 作者报告,在第 48 个生成块处,Velox 的注意力计算加速为 4.36 倍,去噪加速为 2.43 倍;这两项并非完整端到端生成加速。在包含 158 个案例的完整 WBench navigation 划分上,作者报告其 API-free 平均分与稠密注意力版本 LingBot-Fast-Cam 的差距不超过 0.15 分。摘要未给出绝对分数及差异方向,不能进一步解读为性能提升。 复现时需核对路由预算、几何覆盖判定、深度估计开销、显存与端到端延迟,以及不同生成长度下的质量变化;实验协议、消融及统计信息尚未验证。该方法依赖相机视锥与深度结构,材料未提供 EEG/BCI 对应机制或验证结果,不宜直接推导为神经信号建模收益。
值得核对其如何将几何覆盖与模型自身的注意力重要性结合,以缓解长视频生成的上下文开销;摘要提供了分项加速与导航评估结果,但尚不能据此判断其对 EEG 或 BCI 的适用性。
来源:arXiv · 多模态与生成机制 · arxiv.org