辅助任务为何以及如何改善 JEPA 表征

基于摘要分析。本文研究用于视觉表征学习及基于模型的强化学习的 Joint-Embedding Predictive Architecture（JEPA），分析辅助任务为何能改善其表征。核心贡献是对一种联合训练潜在动力学与辅助回归头的简单 JEPA 变体给出理论刻画，说明辅助任务如何决定表征必须保留哪些差异。 作者给出“No Unhealthy Representation Collapse”定理：在确定性马尔可夫决策过程（MDP）中，若训练将潜在转移一致性损失与辅助回归损失均降至零，则转移动力学或辅助标签不同的非等价观测必须映射为不同的潜在表征。该结论依赖特定环境与优化条件，不能直接扩展为随机环境、非零训练误差下的保证，也不意味着所有观测都必须具有不同表征。 作者报告，在 counting environment 中开展的受控消融支持上述理论，且 JEPA 与辅助头联合训练比二者分开训练产生更丰富的表征。摘要未提供“更丰富”的具体指标、效果数值、环境规模及训练细节；实验协议、消融及统计信息尚未验证。其方法启发是：辅助函数不只是附加预测目标，还应与转移动力学共同定义任务所需的等价关系。 平台推测（待验证）：若将 EEG 序列视为具有潜在状态演化的观测，可探索以任务相关辅助标签约束 JEPA，减少对有用差异的压缩。可复用的是潜在转移一致性与辅助回归联合训练的思路；需改造的是 EEG 时序编码、辅助目标及观测等价关系定义。EEG 的低信噪比、部分可观测性、跨被试与通道差异可能使确定性 MDP 假设不成立，小数据下辅助目标也可能强化被试或采集条件等无关差异。一个可检验的小实验是在固定 EEG 数据划分、编码器与训练预算下，对比无辅助任务、分开训练和联合训练，并评估下游解码及表征可分性。该实验仅为迁移假设，相关 EEG 工作尚未检索确认。