跳到正文
OpenReview · Representation learning·· 2022-11-22精选AI 评分76

利用表征的表达能力与可学习性评估自监督学习方法

Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods

AI 导读

基于摘要分析。该研究关注如何在不使用监督标签的条件下评价自监督学习(SSL)表征质量,并希望评价方法不依赖训练时采用的架构、学习算法或数据处理方式。作者提出结合表征表达能力与可学习性的指标 CLID,用于预测模型的分布内性能及视觉分类任务上的迁移性能。 机制上,作者以 Intrinsic Dimension(ID,内在维度)衡量表达能力,提出 Cluster Learnability(CL,聚类可学习性)衡量可学习性:先对表征进行 K-means 聚类,再以聚类结果作为标签,将 KNN 分类器学习预测这些标签的速度作为 CL。随后将 CL 与 ID 合并为 CLID。摘要未交代“学习速度”的具体定义、CLID 的组合公式及相关超参数,需查阅全文确认。 作者报告,在覆盖多种 SSL 算法的大规模实证研究中,CLID 与分布内模型性能的相关性优于所比较的近期评价方法;在若干视觉分类任务的域外泛化评估中,CLID 对迁移性能的预测也优于对照基线。摘要未提供数据集名称、样本规模、划分、具体基线、相关性指标或数值,实验协议、消融及统计信息尚未验证。这些结论针对评价指标的预测能力,不等同于 CLID 直接提升了下游分类性能。 平台推测(待验证):若 EEG 自监督模型选择面临标注不足,可检验 CLID 能否作为无需真实任务标签的候选模型筛选信号。可复用 ID 估计、K-means 聚类与 CL 计算流程,但需适配 EEG 表征、通道布局及跨被试数据结构;低信噪比、被试差异或伪迹可能主导几何结构,使指标偏向非任务信息,小样本也可能降低估计稳定性。一个可证伪的小实验是在固定跨被试划分下,仅用训练集无标签表征计算候选模型的 CLID,再检验其排序与留出被试下游 Balanced Accuracy 排序是否一致,并与 ID、CL 单独使用比较。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究将表征表达能力与可学习性结合为无监督标签的模型评价指标,值得核对其与下游性能的相关性及对聚类设置的敏感性;其在 EEG 自监督模型选择中的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net