自监督模型的表征学习动力学

基于摘要分析。本文研究自监督学习（SSL）模型在对比与非对比损失下的表征学习动力学，将分析重点从泛化误差界转向训练过程中表征如何演化，并通过权重正交约束建立相应的动力学描述。 作者报告，将多元回归的学习动力学直接推广到 SSL，会得到平凡的标量表征，体现出维度坍塌。针对这一问题，作者构造带权重正交约束的 SSL 目标，并推导在 Grassmannian 流形上使用梯度下降训练时、不依赖网络宽度的精确学习动力学。作者还指出，SSL 模型的无限宽近似与监督模型的 neural tangent kernel（NTK）近似存在显著差异。这里的“精确”属于作者对所研究模型的理论结论，不能据摘要推广为任意自监督网络的训练规律。 作者报告以数值实验展示理论结论的有效性，但摘要未提供具体模型假设、损失形式、数据结构、实验规模或量化指标；定理条件、实验协议、消融及统计信息尚未验证。阅读正文时，应重点核对正交约束施加的位置、动力学推导的适用范围，以及数值实验与理论假设之间的对应关系。 平台推测（待验证）：该框架可能为 EEG 自监督表征中的维度坍塌提供分析视角，但原文研究对象是通用 SSL 理论，并未提供 EEG/BCI 验证。迁移假设是：在明确的 EEG 自监督目标中，适配权重正交约束可能改变表征维度退化。需先核对理论所依赖的数据结构和模型条件，再决定可复用的目标与流形优化模块；EEG 的低信噪比、通道相关性、跨被试差异和小样本可能使理论条件不成立。一个可检验的小实验是在固定数据划分、增强与编码器的条件下，对比有无正交约束时的表征有效秩及下游任务指标，检验抑制坍塌是否同时保留任务信息。已有 EEG 相关工作尚未检索确认。