跳到正文
arXiv · 表征与预训练· Romina Yalovetzky; Randall Balestriero; Yann LeCun·· 5 天前精选AI 评分77

LeHami:用于世界模型的辛潜在动力学

LeHami: Symplectic Latent Dynamics for World Models

AI 导读

基于摘要分析。该研究针对 Joint-embedding predictive architectures(JEPAs)中无约束自回归预测器在长时滚动时可能导致潜在分布收缩的问题,提出 Symplectic Hamiltonian JEPA(LeHami),以具有辛结构的潜在动力学替代标准预测器。主要研究对象是视觉摆环境中的世界模型,而非 EEG 或 BCI。 机制上,LeHami 将潜在状态组织为位置样分量 q 与动量样分量 p,使用动作条件化的 Hamiltonian 流,并通过严格保辛的 leapfrog 步进行积分。动量样分量来自所学习位置样表征的时间导数,从而形成用于预测与控制的显式二阶状态。作者指出,该构造在每个滚动步保持相空间体积,并在不依赖学习参数或动作序列的条件下排除均匀收缩、渐近稳定不动点及不同潜在状态的合并。这些性质约束的是潜在动力学几何结构,不直接保证表征质量或真实系统预测误差。 作者报告,在保守及受驱动的视觉摆环境中,相较无约束 JEPA 世界模型,LeHami 改善了长时域速度预测,并在基线潜在体积发生收缩时维持近似恒定的潜在体积;作者还报告其支持未见过的子帧步长积分与数值时间反演。摘要未提供具体误差、数据规模、划分及训练配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将其用于 EEG 潜在动态预测,可检验的假设是保辛约束能缓解多步预测中的表征收缩;可复用部分是结构化状态和保辛积分器,需要改造的是 EEG 编码、时间导数估计及动作条件的定义。EEG 的低信噪比、通道差异、小数据及跨被试变化可能使导数估计不稳,而耗散、随机驱动的神经活动也未必适合体积保持约束。小规模检验可在固定被试内划分和相同编码器条件下,对照无约束 JEPA,分别测量多步预测误差与潜在体积变化,判断几何保持是否伴随预测收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是,LeHami 将潜在预测器的辛几何约束与长时滚动稳定性直接关联;摘要中的理论保证针对潜在相空间结构,尚不能等同于预测准确性或 EEG/BCI 有效性保证。

来源:arXiv · 表征与预训练 · arxiv.org