SplitJEPA:无需重建的 invariant 与 variant 潜在世界学习
SplitJEPA: Learning Invariant and Variant Latent Worlds without Reconstruction
基于摘要分析。SplitJEPA 研究如何在不重建观测的情况下,将动态世界的潜在状态组织为相关观测间共享的 invariant 因素与发生变化的 variant 因素。作者提出一种 Joint Embedding Predictive Architecture(JEPA),直接在表征空间联合恢复潜在状态及其 invariant–variant 结构,而不引入观测解码器。 核心理论贡献是:作者证明,在平稳高斯预测动力学和满秩变化条件下,SplitJEPA 可识别 invariant 与 variant 子空间,但各子空间内部仍存在独立的分块等距变换不确定性。这并不意味着唯一恢复每个潜在坐标;其保证针对的是子空间分解。相较于依赖重建来组织潜变量的路线,该工作将无重建潜在恢复推进到 invariant–variant 分块识别。具体损失、训练流程及条件的形式化定义尚未验证。 作者报告,合成非线性系统与机器人操作任务上的实验支持理论结果,并展示鲁棒性与效率方面的实用价值。摘要未提供具体任务名称、数据划分、对照方法、指标或数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 中任务相关因素与被试、会话或采集条件相关变化能够形成可识别的结构,该机制可能为跨被试、跨会话表征分解提供思路。可考虑复用表征空间预测与子空间组织机制,但需改造 EEG 编码器和观测配对方式;不能预先将所有 variant 成分视为应去除的噪声。EEG 的低信噪比、非平稳性、通道差异及小数据条件可能破坏理论假设,任务信息也可能与变化因素耦合。一个可证伪的小实验是在固定跨会话划分下,对同一 EEG 片段施加已知通道增益或噪声扰动,比较 SplitJEPA 与未分块 JEPA 的任务信息保留及扰动可预测性,检验两类因素是否分离。该方案不是论文已验证结果;已有 EEG 相关工作尚未检索确认。
值得阅读的是作者给出的无重建潜在子空间可辨识性结果,但其平稳高斯预测动力学与满秩变化条件能否适用于 EEG 表征学习仍需验证。
来源:arXiv · 表征与预训练 · arxiv.org