基于核的非参数表示学习
Non-Parametric Representation Learning with Kernels
基于摘要分析。本文研究如何在神经网络之外,利用核方法从无标签数据中学习表示,提出两种使用对比损失的核自监督学习(SSL)模型,以及一种通过嵌入与重构数据学习表示的 Kernel Autoencoder(AE)。其贡献包括模型构造、适用于这些表示学习模型的新表示定理,以及泛化误差界。 技术上,作者指出,监督核机器中的经典表示定理并不总能直接用于自监督表示学习;新定理说明,所提出核模型学到的表示可以通过核矩阵表达。这为模型的理论分析与计算实现提供了依据,但摘要未给出核函数、对比样本构造、具体损失形式、优化算法或重构目标的细节,不能据此还原实现。 作者报告在小数据条件下开展了实证评估,并与基于神经网络的模型进行了比较;摘要未提供数据集、样本规模、划分方式、对照模型或数值结果,因此尚不能判断其性能优势及适用边界。实验协议、消融及统计信息尚未验证。复现前需核对正文中的核选择、超参数、计算成本及理论界成立的假设。 平台推测(待验证):核矩阵表示与无标签学习机制可能对应 EEG 标注有限时的表示学习需求,但原领域有效不等于 BCI 有效。可复用的是核表示与 SSL/AE 框架,需要改造的是 EEG 窗口间相似性、对比样本关系或重构对象;低信噪比、跨被试差异和通道配置变化可能使核相似性偏向噪声或个体特征,核矩阵的存储与计算成本也需核对。一个可检验的假设是:在固定数据划分和标签预算下,使用训练集无标签 EEG 学习核表示,能否比同核的直接监督分类改善下游 MI 分类。可先进行小规模被试内对照,独立划分训练与测试数据,再考察跨被试稳定性;已有 EEG 相关工作尚未检索确认。
值得阅读其针对自监督表示学习重新建立的核方法表示定理与泛化误差界,以评估小数据条件下神经网络之外的表示学习路线,但具体实验效果及 EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net