通过部件感知表征学习理解自监督预训练

基于摘要分析。本文研究视觉自监督预训练能否学到部件感知表征，并以对象级和部件级识别对照考察对比学习、掩码图像建模与全监督学习的表征差异。主要贡献是提出“部件到整体”与“部件到部件”的解释框架，并使用多种代表性方法的现成预训练编码器进行经验比较。 机制上，作者指出，对比学习使用的随机视图及掩码图像建模中的可见图像块往往只覆盖对象的部分区域。作者将对比学习解释为“部件到整体”任务：编码器学习对象部件表征，投影层据此推断整体对象表征；将掩码图像建模解释为“部件到部件”任务：根据可见图像块推断被遮蔽图像块。这是作者对预训练机制的解释，不宜视为已获严格证明的普遍规律。 作者报告，在摘要所述识别评估中，全监督模型的对象级识别表现优于自监督模型，而多数自监督对比学习及掩码图像建模方法的部件级识别表现优于全监督方法；作者还观察到，两类自监督方法结合可进一步改善表现。摘要未提供数据集、具体方法名单、指标数值、训练规模或识别评估设置，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 的局部时间窗或通道子集视作部分观测，可检验“局部表征能否支持整体任务”这一机制假设，但视觉对象部件并不等同于 EEG 局部信号。可复用的是局部视图对比与掩码建模的任务思想，需改造信号编码、视图构造及掩码策略；低信噪比、跨被试差异和通道缺失可能使局部片段缺乏足够任务信息，小数据下也可能主要学到噪声。一个小规模检验是在同一 EEG 数据集、相同编码器及预先固定的跨被试划分下，对照全监督、对比学习、掩码建模及其组合，分别评估完整输入与局部输入的任务表现。上述迁移效果尚未验证，已有 EEG 相关工作尚未检索确认。