通过随机分区上的视图一致性分配进行表征学习
Representation Learning via Consistent Assignment of Views over Random Partitions
基于摘要分析。本文研究视觉特征的自监督表征学习,提出 Consistent Assignment of Views over Random Partitions(CARP),以原型随机分区构造预训练任务,并约束不同视图的分配一致性。其主要贡献是在端到端在线训练中学习聚类原型,无需额外的不可微模块求解聚类分配问题。 机制方面,CARP 使用梯度下降学习原型,通过对原型进行随机分区形成多个随机分类任务,以正则化模型并促进视图间的一致性。作者报告,该机制能够提高联合嵌入训练的稳定性并防止表征坍塌。摘要未给出具体损失形式、分区采样方式、视图增强策略及防坍塌条件,这些内容需结合全文核对。 评估方面,作者报告在 17 个数据集上采用线性评估、少样本分类、k-NN、k-means、图像检索和复制检测等协议,与 11 种现有自监督方法比较,并通过消融研究支持随机分区任务对表征质量的贡献。作者还报告,在迁移学习任务中,CARP 的平均表现优于多种训练时间更长的自监督方法;摘要未提供具体数据集、分数、平均方式或训练预算,因此不能据此判断各任务优势及计算效率。实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 的不同增强视图能够保留同一任务相关信息,原型随机分区与分配一致性机制可能用于缓解无标签 EEG 表征学习中的坍塌和聚类不稳定。可复用的是原型学习与一致性约束,需改造的是 EEG 编码器及视图构造;其效果依赖无标签数据规模与增强的语义保真性。低信噪比、被试差异和通道变化可能使原型主要编码伪迹或被试身份,小数据条件下分区任务也可能不稳定。可检验的小实验是在固定 EEG 数据划分、编码器、增强和训练预算下,对比启用与禁用随机分区任务,分别检查表征坍塌及跨被试线性评估结果。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。
值得核对 CARP 如何通过原型随机分区与视图分配一致性改善自监督聚类的训练稳定性,以及这一机制的消融证据;其对 EEG 表征学习的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net