跳到正文
OpenReview · Representation learning· Goker Erdogan; Nikhil Parthasarathy; Catalin Ionescu; Drew A. Hudson; Alexander Lerchner; Andrew Zisserman; Mehdi S. M. Sajjadi; João Carreira·· 2025-01-01精选AI 评分77

LayerLock:通过渐进式冻结实现非坍塌表征学习

LayerLock: Non-collapsing Representation Learning with Progressive Freezing

AI 导读

基于摘要分析。LayerLock 面向自监督视觉表征学习,通过渐进式冻结网络层,使训练从像素预测逐步转向潜在表示预测,旨在加速训练并避免表征坍塌;原研究对象是视觉与视频模型,并非 EEG 或 BCI。 核心机制建立在层间收敛顺序之上:作者报告,在视频 masked-autoencoding(MAE)模型训练中,ViT 浅层较早收敛,深层较晚收敛。作者据此使用明确的冻结调度,在训练过程中逐步冻结模型,以加速标准 MAE;同一调度也用于构建潜在表示预测方法,作者报告该方法未出现表征坍塌。具体冻结时点、像素到潜在预测的切换方式、预测目标及损失形式尚未验证。 作者报告,将 LayerLock 应用于最大达 4B 参数的模型后,在 4DS perception suite 上的结果优于非潜在掩码预测。摘要未给出具体指标、提升幅度、数据划分或训练预算,不能据此量化性能与计算效率收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 掩码建模也存在稳定的浅层先收敛现象,渐进式冻结可能减少后续训练的梯度计算,并为潜在表示预测提供较稳定的目标。可复用部分是按层冻结的调度思路,需改造输入分块、掩码策略及预测目标;其适用性依赖 EEG 层间收敛规律,而非仅依赖使用 Transformer。低信噪比、通道差异和小数据可能使早期冻结固化噪声特征,跨被试变化也可能要求浅层继续适应。一个可检验的小实验是在固定 EEG 数据划分与训练预算下,对比标准 MAE 与渐进式冻结,记录各层表征变化、计算开销及下游任务指标,再判断是否值得测试潜在预测版本。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对渐进式冻结如何同时支持 MAE 训练加速与非坍塌的潜在表示预测,但其对 EEG 的适用性及收益尚未验证。

来源:OpenReview · Representation learning · openreview.net