LaMo:用于长时域预测的潜在运动世界模型
LaMo: A Latent Motion World Model for Long-Horizon Prediction
基于摘要分析。LaMo 研究驾驶视频世界模型的长时域预测问题,提出预测潜在动力学空间中的运动残差,而非直接预测像素或每一步完整的稠密潜在状态,旨在减少静态信息的重复传递与预测负担。 其核心机制是将连续运动 token 之间的差异表示为连续潜变量。给定当前潜在状态和一段较短的历史运动 token,模型自回归采样下一个运动残差,将其与前一运动 token 积分组合得到下一运动 token,再通过冻结的前向动力学模型递归推进潜在状态。作者使用相同的上下文 transformer 骨干,分别以 Gaussian mixtures 和 conditional flow matching 对残差分布进行概率参数化;具体训练损失、潜在表示学习过程及冻结动力学模型的训练条件尚未验证。 作者报告,在 BDD100K 的长时域滚动预测评估中,基于图像空间指标和语义分割 mIoU,该方法改善了复杂驾驶场景的长时域建模。摘要未给出具体数值、预测时域、数据划分及对照基线,因而尚不能量化收益或判断两种参数化的相对表现;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,当时序信号存在可分离的缓慢背景与动态变化时,预测潜在变化量或可减少重复状态建模。对应 EEG 的候选问题是长期背景与任务相关动态混杂,但 EEG 低信噪比、跨被试差异及通道变化可能使差分放大噪声,并在递归积分中累积漂移。可复用残差概率预测模块,需重新学习 EEG 潜在表示与前向动力学,不能直接沿用视频运动 token。一个小规模可证伪实验是在固定被试内划分、相同编码器和骨干条件下,比较完整潜在状态预测与残差预测的多步误差及随预测时域增长的漂移。相关 EEG 工作尚未检索确认。
值得核对其以运动残差替代逐步完整潜在状态预测的设计,以及两种概率参数化在长时域滚动预测中的差异;摘要所述驾驶视频结果尚不能支持 EEG/BCI 有效性。
来源:OpenReview · State space models · openreview.net