跳到正文
OpenReview · Representation learning· Yaling Tao; Kentaro Takagi; Kouta Nakata·· 2021-01-01精选AI 评分72

通过实例判别与特征去相关学习聚类友好的表征

Clustering-friendly Representation Learning via Instance Discrimination and Feature Decorrelation

AI 导读

该研究针对深度聚类中表征质量影响聚类效果的问题,提出结合实例判别与特征去相关的表征学习方法,以学习更适合聚类的潜在空间。基于摘要分析,原论文的主要研究对象是图像聚类,而非 EEG 或 BCI。 方法受经典谱聚类性质启发:实例判别通过学习区分各个实例类别来学习实例间相似性,特征去相关则用于去除特征之间的冗余相关。作者提出 softmax 形式的去相关约束,并报告该约束可与多种神经网络兼容。摘要未提供约束的具体数学形式、样本构造、训练流程及最终聚类步骤,尚不能确定各组成部分的独立贡献。 作者报告,在 CIFAR-10 和 ImageNet-10 图像聚类评估中,Accuracy 分别为 81.5% 和 95.4%。摘要未说明数据划分、预处理、聚类结果与类别标签的匹配规则及对照基线,因此这些数值仅能视为所述图像聚类评估下的结果,不能据此判断相对优势。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 无标签片段的实例相似性能够反映任务相关结构,实例判别与特征去相关的组合可能用于缓解表征冗余;但图像实验不等于 EEG/BCI 有效性证据。可复用的是两类学习目标,需改造的是 EEG 编码器、片段构造与相似性学习方式。低信噪比、被试差异、通道配置变化及小数据条件可能使模型优先编码伪迹或被试身份,而非任务信息。一个可检验的小实验是在固定 EEG 数据划分、编码器和聚类流程下,对比仅实例判别与加入去相关约束的结果,并核对聚类是否主要由被试身份驱动。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是实例判别与 softmax 形式特征去相关约束如何共同形成适合聚类的潜在空间;其对 EEG 表征的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net