对比学习之前所需的感知归纳偏置
Perceptual Inductive Bias Is What You Need Before Contrastive Learning
基于摘要分析。本文研究视觉对比表征学习直接优化对象语义空间时,是否因缺乏早期视觉归纳偏置而收敛较慢并形成纹理偏置。作者受 David Marr 多阶段视觉理论启发,在常规对比表征预训练之前加入感知预训练阶段,先构建边界与表面层级表征,再学习对象语义。 核心机制是调整表征学习的阶段顺序,而非仅以对象语义为起点:利用早期视觉处理中的感知构造,为后续对比学习提供归纳偏置。摘要未说明边界与表面表征如何构建、是否依赖额外标注、具体损失函数及阶段间参数如何衔接,这些实现条件尚未验证。 作者报告,在 ResNet18 上收敛速度提升至约 2 倍,并在语义分割、深度估计和对象识别中获得更好的最终表征,同时改善鲁棒性与分布外能力。摘要未提供数据集、数据划分、具体对照方法、下游指标或计算预算,因而不能判断收益的绝对幅度及适用范围。尤其需要核对加速是否计入新增感知预训练阶段的总成本,以及纹理偏置改善如何测量;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移假设是“先学习低层结构,再进行语义对比学习”的阶段式训练原则,而非把视觉边界与表面构造直接用于 EEG。若用于 EEG,需重新定义与信号结构对应的前置任务,并核对其监督需求;低信噪比、通道差异和跨被试变化可能使模型优先学习伪迹或个体特征。一个可证伪的小实验是,在固定 EEG 数据划分、骨干和总计算预算下,比较直接对比预训练与加入信号结构前置任务的训练,检验收敛效率及跨被试下游表现。该设想不属于本文已验证结果,已有 EEG 相关工作尚未检索确认。
值得核对的是,将边界与表面表征学习置于对比预训练之前,能否在计入额外阶段成本后仍加速收敛,并改善纹理捷径问题;摘要报告了相关收益,但完整协议尚未验证。
来源:OpenReview · Representation learning · openreview.net