理解非线性自监督学习的表征可学习性

基于摘要分析。本文研究非线性自监督学习（SSL）究竟能学到哪些数据特征，核心贡献是在包含标签相关特征与隐藏特征的玩具分布上，分析模型的优化结果及其表征内容，而非仅将非线性神经网络视作黑箱考察最终表示。 作者使用梯度下降训练单层非线性 SSL 模型，并在特定初始化区域等条件下证明模型收敛至局部极小值。随后，作者利用逆函数定理的精确版本刻画该局部极小值所学习的特征，以此区别于依赖闭式解的线性模型分析及复杂的迭代过程分析。摘要未给出具体自监督目标、非线性函数、分布参数或初始化范围，这些理论条件尚需全文核对。 作者报告，在所设分布与理论条件下，非线性 SSL 模型可以同时捕获标签相关特征和隐藏特征，而所分析的非线性监督学习（SL）模型只能学习标签相关特征；作者还通过仿真实验展示两类模型的学习过程与结果。这一结论不宜外推为所有 SSL 均能保留隐藏信息，或所有 SL 均无法学习此类信息。仿真设置、对照可比性、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设该特征保留机制能扩展到 EEG，自监督预训练可能保留任务标签之外的生理变化，但也可能保留被试身份、通道差异或伪迹。可复用的是“标签相关／隐藏因素—优化结果—表征内容”的分析框架；应用于 EEG 则需改造数据生成假设与自监督目标，并处理低信噪比、跨被试差异及小样本风险。一个可证伪的小实验是在可控合成多通道信号中独立设置任务因素、隐藏因素与噪声，在相同数据划分和模型容量下比较 SSL 与 SL 表征对两类因素的可解码性，检验隐藏因素保留是否随噪声增强而消失。该实验仅是机制验证建议，不构成真实 BCI 效果证据；已有 EEG 相关工作尚未检索确认。