跳到正文
OpenReview · Representation learning· Arthur Aubret; Céline Teulière; Jochen Triesch·· 2024-09-28精选AI 评分77

自监督表征学习中的局部见整体

Seeing the Whole in the Parts in Self-Supervised Representation Learning

AI 导读

基于摘要分析。本文研究视觉自监督学习如何建模特征的空间共现关系,提出实例判别方法族 CO-SSL,通过对齐池化前的局部表征与全局图像表征学习表示,区别于依靠图像掩码或强裁剪建模空间共现的路径。 作者报告,CO-SSL 在多个数据集上优于既有方法;其中,在 ImageNet-1K 上预训练 100 个 epoch 后,Top-1 Accuracy 达到 71.5%。摘要未说明该结果的具体评估协议、骨干网络及对照配置,不能据此与其他协议下的结果直接比较。作者还报告,该方法对噪声污染、内部损坏(internal corruption)、小幅对抗攻击及较大的训练裁剪尺寸更鲁棒,但摘要未给出相应扰动设置与量化结果。 机制分析方面,作者发现 CO-SSL 学到高度冗余的局部表征,并据此解释其鲁棒性;这属于作者提出的解释,摘要不足以确认其中的因果关系。具体对齐目标、损失形式、训练配置、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 的时间片段或通道组作为局部视图、完整试次作为全局视图,局部—全局对齐可能用于学习对局部信号损坏更稳定的表征。可尝试复用对齐原则,但需改造输入编码及局部视图构造;其适用性依赖局部片段确实包含与全局任务相关的信息。低信噪比、跨被试差异、通道布局变化及小数据可能使对齐强化伪迹或抹平局部判别信息。一个可证伪的小实验是在固定 EEG 数据划分、编码器与预训练预算下,对比加入和不加入该对齐目标的表征,在相同下游协议中测试干净信号与局部通道损坏条件的表现。已有 EEG 相关工作尚未检索确认,该设想不构成已验证的 BCI 效果。

阅读价值

值得核对 CO-SSL 的局部—全局表征对齐机制及局部冗余与鲁棒性的关系,但其对 EEG 表征学习的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net