渐进增深能否提升自监督视觉预训练效率

基于摘要分析。本文研究渐进式深度增长如何影响自监督 Vision Transformer 的表征质量与内部计算：从浅层模型开始训练，并在训练过程中插入网络层，在 MAE 与 DINOv3 两类自监督框架中系统考察下游性能、中间层表征及注意力模式。 核心机制是随训练推进增加模型深度，而非从训练开始就使用完整深度网络。摘要未说明插层时机、新层初始化、参数继承、优化器状态处理或具体训练配置，这些复现条件尚未验证。 作者报告，在所评估的全局与密集视觉任务中，渐进式深度增长改善下游性能，同时减少训练 FLOPs 13.9–24.8%；在 ImageNet 线性探测评估中，Accuracy 增益最高为 3.36 个百分点。摘要未提供各数值对应的模型、对照基线及训练预算，不能据此判断不同配置之间的可比性。作者还报告中间层的下游表现得到改善：MAE 出现反复交替的全局与局部注意力模式，采用自蒸馏的 DINOv3 则更早呈现从局部到全局的注意力演进。这些观察支持进一步研究深度增长与表征形成的关系，但摘要不足以确认其因果解释。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若该方法的收益主要来自渐进增加计算深度，而非特定视觉数据或训练配方，它可能用于降低 EEG Transformer 自监督预训练成本。可复用的是深度增长策略；需要改造的是 EEG 的时间与通道 token 化、位置编码及预训练目标。原研究依赖视觉输入及 MAE、DINOv3 的训练框架，数据规模要求尚未验证；EEG 的低信噪比、跨被试差异、通道变化与小数据条件可能使插层后的表征不稳定，视觉注意力演进也不必然对应神经信号结构。一个可证伪的小实验是在相同 EEG 数据、预训练目标与固定 Cross-subject 划分下，对比固定深度和渐进增长模型，分别核对训练 FLOPs 与线性探测 Accuracy，并设置等计算预算对照。已有 EEG 相关工作尚未检索确认。