一种表征学习理论给出核方法的深度推广
A theory of representation learning gives a deep generalisation of kernel methods
基于摘要分析。本文研究如何在无限宽理论中保留深度模型的表征学习能力,提出 Bayesian representation learning limit,并据此构造核方法的深度推广 deep kernel machines(DKMs)。主要对象是深度 Gaussian process(DGPs)及核方法,而非 EEG 或 BCI。 核心机制:标准 NNGP 无限宽极限会消除表征学习,作者提出的新极限旨在保留类似有限宽模型的表征变化,同时维持一定的理论可处理性。作者报告,在该极限下,DGPs 的后验严格为多元 Gaussian 分布;后验协方差可通过优化一个可解释目标获得,其中对数似然用于改善预测表现,一系列 KL 散度用于约束后验接近先验。作者报告在较宽但有限宽的 DGPs 中进行了实验确认,摘要未提供具体数据集、宽度、划分或指标。 计算与扩展:DKMs 将上述极限及目标用作灵活的深度核方法。作者指出,朴素 DKMs 对数据点数量具有立方级计算复杂度,并借鉴 Gaussian process 的诱导点方法构造对数据点数量呈线性扩展的稀疏 DKM;该表述不意味着其对诱导点数量或模型深度也呈线性复杂度。摘要还说明附录将方法扩展至具有非 Gaussian 后验的神经网络,但具体推导与适用条件尚未验证。 平台推测(待验证):若 EEG 任务能构造稳定的样本间核相似度,可假设 DKM 的逐层表征优化与先验约束有助于小样本分类。可复用的是核优化目标与诱导点近似,需改造的是 EEG 输入表征、核函数及先验。低信噪比、通道差异和跨被试分布变化可能使核相似度失真,小数据下深度优化也可能过拟合。一个可证伪的小实验是在固定 EEG MI 数据划分下,对比相同输入特征、相同诱导点预算的稀疏 Gaussian process 与稀疏 DKM,分别报告被试内和跨被试 Accuracy,检验收益是否稳定。已有 EEG 相关工作尚未检索确认;原文实验协议、消融及统计信息尚未验证。
值得阅读之处在于,作者以保留表征学习的无限宽极限连接深度 Gaussian process 与可解释的核优化目标,并提出稀疏化路径;其对 EEG 小样本建模的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net