通过上下文预测进行无监督视觉表征学习
Unsupervised Visual Representation Learning by Context Prediction
基于摘要分析。本文研究如何利用大量无标注图像中的空间上下文学习视觉表征:从同一图像随机抽取成对图像块,训练卷积神经网络预测第二个图像块相对于第一个的位置,以无需人工标注的预测任务提供监督信号。 核心思路是借助图像内部的空间关系学习可跨图像复用的特征。作者认为,完成相对位置预测需要识别物体及其组成部分;这是作者对任务机制的解释,摘要不足以确认模型实际依赖哪些视觉线索。具体网络结构、位置类别、采样策略与损失形式尚未验证。 作者报告,所学表征能够捕捉跨图像的视觉相似性,并在 Pascal VOC 2011 detection dataset 上支持猫、人和鸟等对象的无监督视觉发现。作者还报告,将所学 ConvNet 用于 R-CNN 框架,相比随机初始化 ConvNet 显著改善目标检测表现,并在仅使用 Pascal 提供的训练集标注的算法范围内达到当时最优水平。摘要未给出具体指标、划分和统计结果,因此这些结论不能扩展至其他数据或监督条件;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 局部时空片段的相对关系包含可迁移的生理结构,可借鉴上下文预测构造自监督预训练任务。可复用的是片段配对与相对关系预测思路,图像块提取和视觉编码器则需改造为适配 EEG 时间窗、通道位置及参考方式的模块。低信噪比、被试差异、通道布局变化与小数据可能使模型依赖伪迹或固定位置线索。一个可检验的小实验是在相同 EEG 编码器和固定跨被试划分下,对比上下文预测预训练与随机初始化的下游表现,并用打乱片段关系的对照检查预训练收益。已有 EEG 相关工作尚未检索确认,以上不构成已验证的 BCI 效果。
值得阅读其以图像块相对位置构造自监督信号的机制,以及从上下文预测迁移到目标发现和检测的验证思路;其对 EEG 表征学习的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net