跳到正文
OpenReview · Representation learning·· 28 天前精选AI 评分78

从表示学习到世界模型中的潜空间几何重塑

From Representation Learning to Reshaping Latent Geometry in World Models

AI 导读

基于摘要分析。该研究面向视觉潜在世界模型中的目标条件规划,指出短步预测表现良好不等于潜空间距离能反映到达目标的最优代价,并提出通过任务代价监督或记录轨迹中的时间顺序重塑潜空间几何。其主要贡献是将视觉表示是否包含任务相关信息,与潜空间几何是否适合规划区分开来。 机制上,作者将“度量一致性”定义为潜空间距离与到达目标的最优代价之间的对齐程度,并利用这些代价调整潜空间几何,再将方法推广至基于轨迹时间顺序的监督。作者还提出以任务相关状态变量的可恢复性检验表示充分性:一旦满足该标准,便可停止视觉训练、冻结编码器,继续在潜空间中训练。具体损失、时间顺序约束形式及状态恢复测试的实现尚未验证。 作者报告,在 TwoRoom 中完成两个 epoch 的视觉训练后,表示已满足其充分性标准,但 CEM 规划成功率仅为 11%;冻结编码器后继续潜空间训练,采用与任务距离成比例的监督时成功率达到 88%,采用时间顺序监督时达到 90%,使用基础目标的对照为 27%。作者另报告,不进行几何重塑而继续昂贵视觉训练时,成功率平台期为 37%。这些结果限于摘要所述环境与训练条件;数据划分、评估次数、统计不确定性、消融及计算开销尚未验证。 平台推测(待验证):其对 EEG 的潜在启发是区分“表示能否恢复任务相关状态”与“表示距离是否符合任务结构”,而非直接移植视觉规划结果。可考虑复用表示充分性诊断及几何约束,但需重新定义 EEG 任务状态、距离监督与编码器;仅凭记录时间顺序并不能保证神经状态的任务距离有序。低信噪比、跨被试差异、通道变化及小数据均可能破坏这一对应关系。一个可证伪的小实验是在固定 EEG 数据划分和冻结编码器条件下,对比基础目标与任务状态距离约束,检验距离对齐改善是否同时带来下游任务改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何将表示充分性与潜空间度量一致性分开评估:作者报告在冻结编码器后,仅重塑潜空间几何即可改善 TwoRoom 中的 CEM 规划,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net