自监督模型的表示学习动力学

基于摘要分析。本文研究自监督模型在最小化对比与非对比损失时的表示学习动力学，试图补充以泛化误差界为主的理论分析。核心贡献是在权重正交约束下，推导模型通过 Grassmann 流形上的梯度下降训练时、不依赖网络宽度的精确学习动力学。 作者报告，将多元回归的动力学直接推广至自监督学习，会得到平凡的标量表示，体现维度坍塌；据此，论文在自监督目标中引入权重正交约束。作者还指出，自监督模型的无限宽近似与监督模型的 neural tangent kernel（NTK）近似存在显著差异，并通过数值实验展示理论结果的有效性。摘要未提供模型形式、损失表达式、推导成立条件、数值实验数据或比较指标，相关实验协议、消融及统计信息尚未验证，不能据此认定结论适用于任意深度网络或实际自监督训练流程。 平台推测（待验证）：若该理论所需的模型和数据假设能映射到 EEG 自监督编码器，正交约束可能为分析表示维度坍塌提供工具，而非直接构成已验证的 BCI 方法。可复用的是正交约束与表示动力学分析思路；需改造或核对的是 EEG 时序输入、增强方式、编码器参数化及流形优化的适配。低信噪比、通道相关性、跨被试差异与小数据可能使保留的表示维度主要反映噪声，而非任务信息。一个可检验的小实验是在固定 EEG 数据划分、编码器和自监督目标下，对比有无正交约束时的表示协方差谱及冻结编码器后的下游表现，分别检查坍塌缓解与任务效用是否一致。已有 EEG 相关工作尚未检索确认。