跳到正文
OpenReview · Representation learning·· 2026-09-18精选AI 评分79

ReWorldModel:重新思考潜在世界模型中的视觉表征学习

ReWorldModel: Rethinking Visual Representation Learning in Latent World Models

AI 导读

基于摘要分析。本文研究面向动作条件未来状态预测的视觉潜在世界模型,提出 ReWorldModel(ReWM),通过跨编码深度访问特征,缓解表征完整性与可预测性之间的权衡。研究对象是视觉表征及下游控制,并非 EEG 解码或 BCI。 核心机制是 Mixture-of-Depths Attention(MoDA):由高层查询选择性检索编码器较早层的低层特征,使紧凑的高层抽象能够利用细粒度空间与几何信息。模型同时采用更新的 Transformer 设计以改善优化和空间建模,但摘要不足以确认其具体结构或各组件的独立贡献。 作者报告,完整 ReWM 在五项任务中的四项达到 100% 成功率,在 PushT 上平均成功率为 99.0%;相较按官方配方训练的 LeWM,ReWM 达到 PushT 95% 成功率所需处理的训练序列减少至五分之一。另在共享训练配方、三个配对随机种子的受控比较中,ReWM 变体在八次编码器更新时将 Reacher 成功率提高 74.4 个百分点,并在 Reacher 和 TwoRoom 上以八分之一的更新次数达到 95% 成功率。这两组结果的模型版本、训练配方及效率计量单位不同,不宜混合比较。 作者报告,逐层探测显示位置、朝向与交互信息沿编码深度逐步组织,最终预测表征保留更丰富的控制相关结构。该证据支持作者关于跨深度访问改善表征权衡的解释,但任务划分、成功率统计方式、完整基线、消融及不确定性尚未验证,需结合全文核对。 平台推测(待验证):可迁移的候选机制是跨层检索,而非视觉控制结果本身。假设 EEG 编码器不同深度也保留互补信息,可改造查询与特征接口以处理时间及通道结构;低信噪比、被试差异和小数据可能使低层检索放大噪声。一个可证伪的小实验是在具有运动学标签的 EEG 数据上,固定骨干与训练预算,比较末层解码和跨层检索的跨被试表现。现有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其跨编码深度检索机制及共享训练配方下的对照,以判断控制收益能否归因于多层表征访问,而非训练配方差异;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net