跳到正文
arXiv · 多模态与生成机制· Ziyu Zhu; Zhaoxu Sun; Fan Jiang; Mengchao Wang; Junfeng Ni; Ting-Bing Xu; Zhicheng Liu; Mu Xu·· 1 天前精选AI 评分76

LongForcing:扩展时间流形匹配以实现长时域世界模型滚动生成

LongForcing: Scaling Temporal Manifold Matching for Long-Horizon World Rollout

AI 导读

基于摘要分析。该研究面向自回归视频扩散模型的长时域世界模型滚动生成:生成帧递归充当后续上下文时,模型可能出现画质下降、运动不一致与物体身份漂移。LongForcing 通过扩展教师对学生长时间自主滚动轨迹的监督,尝试缓解短时域训练与长时域推理之间的监督缺口。 核心机制:作者指出,匹配短窗口边缘分布不一定能确定长时域行为,而更长的 on-policy 轨迹可使训练接触延迟出现的失败。LongForcing 保留短时域 teacher-forcing 与因果 ODE 蒸馏阶段,在最终分布匹配阶段,将 realscore 教师替换为扩展时域的双向教师,使用标准分布匹配形式监督学生的长时间自主滚动轨迹。作者称该改动不改变学生架构,也不增加推理成本;教师构建、监督时域长度、训练资源开销及具体损失实现尚未验证。 结果:作者在文本到视频生成与交互式动作条件世界模型上评估,报告 VBench Quality 得分为 85.52;在第一人称消融设置中,WorldRoamBench 的 60s action score 提升 23.9 分。摘要未提供对应基线、数据划分及完整评估配置,因此不能据此进行跨协议比较。作者还报告最长达 24 小时的交互滚动定性压力测试;这不等同于该时长下质量或动作一致性已获得定量验证。实验协议、消融及统计信息尚未验证。摘要提供了项目与代码入口,实际可复现性仍需核对实现和训练条件。 平台推测(待验证):其可迁移假设是,EEG 长序列生成模型也可能存在递归生成误差在短窗口监督之外累积的问题,而非该视频方法已具备 BCI 效果。可复用长轨迹分布匹配思路,但教师、动作条件与视频表示需改为适配多通道 EEG 的时序及条件表示,并依赖可支持长窗口监督的连续数据。低信噪比、跨被试差异、通道变化与小数据可能使教师学习到噪声或个体偏差。一个可检验的小实验是在相同学生架构和数据划分下,对比短窗口与长窗口教师监督,检查长时域生成的频谱及跨通道统计偏离是否减小;这只能检验生成稳定性,不能直接证明 BCI 解码获益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其将长时域生成漂移归因于监督时域缺口,并在不改变学生架构的条件下扩展教师监督;作者报告的效果仍需结合完整评估协议核对,EEG/BCI 适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org