容量受限 LeJEPA 中的表征选择

该研究分析表征维度受限时 LeJEPA 如何选择潜变量，并提出额外的条件均值约束，以减少重复利用慢潜变量造成的可预测信息损失。基于摘要分析，未取得论文全文。 原问题与机制：自监督 Joint-Embedding Predictive Architectures（JEPAs）从同一系统的相关观测中学习。既有 LeJEPA 理论在表征维度等于潜变量数量、且所有潜变量演化速率相同的条件下，支持线性恢复潜变量；本文转向表征维度更小、潜变量演化速率不同的情形。作者报告，模型不仅对潜变量本身排序，也对其非线性函数排序，因此较慢潜变量的高阶函数可能取代较快潜变量。 约束与修正：作者指出，LeJEPA 的分布约束能够排除简单的高阶多项式解，但仍可能允许多个表征坐标依赖同一个慢潜变量。这种来源复用可能使下一时刻表征的部分可预测信息落在所选张成空间之外。作者据此引入条件均值约束，并报告在 Gaussian 模型下，两类约束共同产生线性不变结构；当截断边界严格时，对齐目标选择主导线性子空间。作者报告实验支持预测的选择边界及修正效果，但摘要未提供数据集、指标或具体数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 的相关时间观测包含演化速率不同的潜在成分，这一分析可用于检验低维预测表征是否过度保留慢成分，而遗漏较快的任务相关信息；原领域结论不等于 BCI 有效性。可复用的是容量扫描与条件均值约束的分析思路，约束的具体实现、时间配对及对非 Gaussian EEG 的适用性仍需核对和改造。低信噪比、慢漂移伪迹、跨被试与通道差异，以及小数据下条件均值估计不稳，均可能使迁移失败。一个可证伪的小实验是在已知潜变量及演化速率的合成时序中加入 EEG 式噪声和通道混合，在相同容量与训练条件下比较原约束和新增约束的潜变量恢复情况，再判断是否值得开展真实 EEG 验证。已有 EEG 相关工作尚未检索确认。