跳到正文
OpenReview · Representation learning· Jianing Li; Yuan Du; Li Du·· 2023-01-01精选AI 评分72

用于主动学习的孪生网络表征

Siamese Network Representation for Active Learning

AI 导读

基于摘要分析。该研究针对图像分类中的主动学习问题,提出利用孪生卷积神经网络学习样本间相似性,以选择值得标注的数据,目标是减少标注需求。其出发点是:既有不少方法依赖模型的偶然不确定性或认知不确定性,而对数据自身的关系利用不足。 方法将成对图像输入孪生网络,并基于输出特征计算相似性;另提出面向池式采样策略的层次聚类方法,以增强表征阶段。摘要未明确相似性学习的监督来源、损失函数、样本对构造方式,以及相似性和聚类如何共同决定查询样本,这些机制细节尚待核对。 作者报告,在 CIFAR10/100 与 Caltech101 图像分类评估中,相对 Bayesian-based method 和随机采样,Accuracy 的最大优势分别为原文所述的 3.17% 和 6.31%;摘要未说明这是相对百分比还是百分点,也未给出这些最大差值对应的数据集、标注预算、数据划分及重复试验条件,因此不能据此作跨协议比较。作者说明进行了消融研究,但具体实验协议、消融结果及统计信息尚未验证。 平台推测(待验证):若学习到的相似性能够反映任务相关结构,而非噪声或被试身份,这一采样机制可能用于 EEG 标注预算受限的场景。可复用部分是相似性驱动的候选池选择;需改造图像编码器、样本对构造及相似性监督,使其适配 EEG 时空结构。低信噪比、通道差异和跨被试偏移可能使距离主要反映非任务因素,小数据下学习可靠相似性也可能额外消耗标签。一个可检验的小实验是在固定被试内划分、初始标签与总标注预算下,比较该策略、随机采样和不确定性采样的 Accuracy—标注量曲线,并计入相似性训练所用标签。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究以孪生网络学习的数据相似性辅助主动学习采样,值得核对其相对不确定性采样的收益及标注成本,但摘要中的性能差值与实验协议仍需全文确认。

来源:OpenReview · Representation learning · openreview.net