跳到正文
arXiv · 表征与预训练· Peisong Wen; Qianqian Xu; Minye Lei; Siran Dai; Yang Liu; Qingming Huang·· 21 小时前精选AI 评分77

Slot-JEPA:面向潜在世界模型的对象结构化预测接口

Slot-JEPA: Object-Structured Prediction Interfaces for Latent World Models

AI 导读

基于摘要分析。Slot-JEPA 研究视觉潜在世界模型中稠密 patch 表征给下游预测带来的结构恢复、时间对应与空间距离度量问题,提出将表征分解为稳定的语义槽位和随时间变化的空间掩码,以提供可复用的对象结构化接口。其主要研究对象是视觉理解与目标条件规划,并非 EEG 或 BCI。 方法上,该分解模块预训练一次后在下游冻结,使预测器不必反复从分散的 patch 信息中恢复对象结构。Transition Memory Predictor(TMP)将视觉转移存储为紧凑掩码,并利用对应槽位的统计信息检索上下文;两个分支分别处理槽位特定动态与跨槽位共享动态。摘要未给出槽位构建、对应关系维护及记忆检索的具体实现。 针对预测与目标支持区域大幅分离时,逐点 l1/l2 距离难以反映空间位移的问题,作者引入 Unbalanced Optimal Transport(UOT),既监督掩码预测,也通过在对齐的预测掩码与目标掩码间传输质量来评估候选计划。该机制试图让规划信号更贴合空间上的目标推进,而不只是逐点误差。 作者报告,在七个视觉理解基准上,槽位重建特征仍具迁移能力;在 REALM-JEPA benchmark 的六个平面环境和四项机械臂规划任务中,Slot-JEPA 改善了目标条件规划。摘要未提供具体指标、提升幅度、数据划分或对照基线,实验协议、消融及统计信息尚未验证。 其接口依赖可分解的视觉实体、空间掩码及跨时间对应关系,不能直接将这些结果视为神经信号建模证据。EEG 中是否存在适合该接口的稳定实体与空间传输结构尚待评估,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将潜在世界模型的稠密表征改造成可复用对象接口,并以 UOT 对齐空间预测与规划目标的机制;具体收益及各模块贡献仍需全文实验核对。

来源:arXiv · 表征与预训练 · arxiv.org