DSSF:面向基于 JEPA 的视觉规划的鲁棒潜在状态构建
DSSF: Robust Latent State Construction for JEPA-Based Visual Planning
基于摘要分析。该研究针对基于 Joint-Embedding Predictive Architecture(JEPA)的视觉规划世界模型:预测未来表征虽可避免重建像素,但可预测的视觉信息不一定与控制有关,背景及干扰物可能进入潜在状态,影响状态预测和目标匹配。作者提出 DSSF,以两阶段筛选构建紧凑潜在状态,分别处理未知视觉干扰与训练分布内的控制无关信息。 第一阶段使用可学习原型建模非干扰视觉因素在特征空间中的支持范围,过滤不受训练分布支持的局部因素。第二阶段从保留因素中稀疏选择与动作条件动力学相关的信息。其关键思路是区分“训练分布是否支持该因素”和“该因素是否与控制相关”,而非仅以潜在预测能力决定保留内容。原型的学习目标、筛选规则、稀疏选择实现及与 JEPA 的训练衔接尚未验证。 作者在多个连续控制任务中评估未见干扰物实例及跨类别干扰,考察干扰外观和数量变化下的规划鲁棒性。作者报告,DSSF 更好地保留无干扰条件下的规划表现,并在未知干扰及跨类别干扰外观偏移条件下持续优于强基线;作者据此认为收益并非仅来自记忆训练干扰物外观。摘要未提供任务名称、数据划分、基线名称或定量指标,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“分布支持度筛选+任务动力学相关性选择”可能为 EEG 中区分异常伪迹与任务无关但常见的信号成分提供机制参考,但原方法依赖局部视觉因素及动作条件动力学,不能直接等同于 EEG 解码。可复用的是两阶段筛选思路;需改造 EEG 特征单元、原型支持范围及相关性监督。低信噪比、小数据和跨被试或通道变化可能使有效神经成分被误判为分布外因素,动作条件监督也未必适用于目标任务。一个可检验的小实验是在固定 Cross-session EEG 划分下,对比不筛选、仅原型筛选、仅相关性选择及两阶段筛选,分别测试原始数据与预先定义的伪迹扰动条件,检验是否在保留干净数据性能的同时改善扰动鲁棒性。已有 EEG 相关工作尚未检索确认。
值得核对其将训练分布支持度与控制相关性分开建模的两阶段机制,以及未知干扰下的规划对照;作者报告了视觉连续控制中的鲁棒性收益,但 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net