用于 JEPA 稳定潜在空间学习的收缩型 MASO 广义预测器
Contractive MASO‑Generalized Predictors for Stable Latent‑Space Learning in JEPA
基于摘要分析。本文研究 JEPA 的潜在表征预测器如何获得可控的多步动态与稳定性,提出 Learnable Iterated Function Systems(LIFS),以递归、收缩的潜在算子替代常规浅层前馈预测器,保留原有 JEPA 目标与编码器架构。主要研究对象是通用预测式自监督表征学习,并非 EEG 或 BCI。 机制上,LIFS 在多个细化步骤中应用仿射映射混合,混合权重由上下文嵌入决定,使潜在状态的演化具备输入自适应结构。作者将其解释为 Max-Affine Spline Operators(MASOs)的动态扩展:不再仅选择单一仿射分支,而是通过受谱约束控制的仿射变换序列,形成依赖轨迹的潜在空间分区。作者给出构成 Banach 收缩映射的充分条件,并采用 Lyapunov 风格的稳定性论证分析训练行为;具体约束形式、条件适用范围及训练中如何维持这些条件尚未验证。 作者报告,在将 LIFS 集成至 JEPA 的实验中,训练动态更平滑,预测对齐和线性探测准确率持续改善,尤其适用于 ViT 编码器,并称未增加模型容量。摘要未提供数据集、划分、数值、基线配置或计算开销,因此不能量化收益,也不能据此判断多步细化是否增加训练与推理成本。实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,若 EEG 自监督学习能够构造有信息关联的上下文视图与目标嵌入,收缩型潜在细化可能帮助控制预测器的动态波动。可复用部分是递归仿射混合与谱约束;需改造 EEG 编码器、视图构造及通道适配。其依赖的监督来自潜在目标预测,但所需数据规模尚不明确。低信噪比、跨被试分布变化、通道不一致和小数据可能使混合权重不稳定;过强收缩也可能抹去判别性细节。 一个可检验的小实验是在固定 EEG 编码器、JEPA 目标和数据划分下,对比常规预测器与 LIFS,分别考察匹配参数量及计算预算后的训练波动、预测对齐与线性探测 Accuracy,再检验移除谱约束的影响。该方案不是论文已验证结果;已有相关 EEG 工作尚未检索确认。
值得核对其将收缩性约束引入 JEPA 多步潜在预测的充分条件,以及不增加模型容量时的对照结果;对 EEG 表征学习的价值尚未验证。
来源:OpenReview · State space models · openreview.net