LocaLeJEPA：几何约束下的最大熵表征

基于摘要分析。本文研究视觉自监督学习中 JEPA 的表征坍塌与嵌入几何约束问题，提出 LocaLeJEPA：通过流形理论重新表述 LeJEPA 的熵最大化性质，并以局部欧氏分布匹配正则项 LocaLeReg 实现该框架。 机制上，LeJEPA 通过分布匹配推动嵌入趋向各向同性高斯分布；作者认为，这一全局目标依赖欧氏假设，难以体现非欧氏嵌入等领域几何先验。LocaLeJEPA 转向尊重内在几何的最大熵表征，作者将 LocaLeReg 描述为稳定且可扩展的实现途径。摘要未给出局部区域构造、目标分布、正则项具体形式或优化细节，这些内容尚未验证。 作者报告，在 ImageNet-1K 上训练的视觉模型中，LocaLeJEPA 配合 hyperbolic ViT-S/8、equivariant ResNet-50，以及普通欧氏 ViT-S/8、ViT-L/14，均优于 LeJEPA；评估涵盖 ImageNet 上的线性分类与 k-NN 分类，以及一系列下游任务。摘要未提供具体分数、下游任务清单或统计检验，不能据此量化收益或判断不同骨干间的可比性。训练配置、实验协议、消融及统计信息尚未验证；摘要提供了代码链接，但代码内容与复现条件尚未核验。 平台推测（待验证）：若 EEG 自监督编码器明确采用非欧氏嵌入或其他几何约束，局部分布匹配可能提供比全局各向同性目标更贴合该约束的防坍塌机制。可复用候选是正则化思路，需改造 EEG 增强、编码器及局部邻域定义；其对批量规模和邻域采样的要求尚待全文确认。低信噪比、跨被试与通道差异可能使局部结构主要反映伪迹或被试身份，小数据也可能导致局部分布估计不稳。可在固定 EEG 编码器、增强和预训练数据的条件下，对比 LeJEPA 与 LocaLeReg，按被试隔离评估线性探测及表征坍塌指标，以检验该假设。已有相关 EEG 工作尚未检索确认。