跳到正文
arXiv · 表征与预训练· Holger Molin; William Peng; Marco Bagatella; Randall Balestriero·· 5 天前精选AI 评分81

通过谱对齐进行世界建模

World Modeling through Spectral Alignment

AI 导读

基于摘要分析。本文研究世界模型应保留哪些信息,以及如何显式引导这种信息保留。作者提出 JEPA 框架 SpecWM,通过目标相似性核指定观测之间的期望关系,并训练编码器在嵌入空间的几何结构中重现这些关系,主要研究对象是面向控制的潜在世界模型,而非 EEG 或 BCI。 机制上,不同核提供不同监督:既可利用物理状态信息,也可采用仅依赖轨迹内观测顺序的完全自监督时间核。作者分析了目标函数的全局最优解,给出信息线性可恢复及对干扰信息保持不变的条件,并在理想化设定下,将时间核相似性与 behavioral successor measure 联系起来。具体损失形式、核的构造及理论成立条件尚未验证,不能据摘要将这些性质推广到任意数据。 作者报告,核的选择显著影响表征中哪些物理量可被恢复。在摘要所述 CEM 规划评估中,时间谱对齐相较 LeWorldModel 的成功率在 OGBench Cube 上由 52% 提升至 68%,在 OGBench Scene 上由 49% 提升至 77%,在 CALVIN 上由 29% 提升至 51%。上述结果分别对应各自任务,不能跨任务直接比较;数据划分、训练预算、评估次数、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 连续记录中的时间邻近关系能提供与目标任务相关的监督,时间核可能用于引导自监督表征,但时间接近也可能主要编码慢漂移或被试身份,而非任务信息。可复用的是目标核约束嵌入几何的思路,需改造 EEG 编码器、窗口定义及时间核尺度,并处理低信噪比、通道差异和小数据风险。一个可证伪的小实验是在固定被试划分及训练预算下,对照时间核与打乱时间顺序的核,检查冻结表征的任务线性解码表现及被试身份可解码性,以区分任务信息收益与干扰信息保留。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其以目标相似性核显式约束表征几何的机制及可恢复性分析;作者报告了控制规划收益,但其对 EEG 表征学习的适用性尚未验证。

来源:arXiv · 表征与预训练 · arxiv.org