一种表征学习理论给出了核方法的深度推广
A theory of representation learning gives a deep generalisation of kernel methods
基于摘要分析。本文研究标准无限宽极限(NNGPs)消除表征学习的问题,提出 Bayesian representation learning limit,使模型在保留部分无限宽理论简洁性的同时,呈现与有限宽模型相似的表征学习,并据此构建核方法的深度推广 deep kernel machines(DKMs)。原研究对象是通用深度学习理论与核方法,并非 EEG 或 BCI。 核心机制:作者报告,在该极限下,Deep Gaussian processes(DGPs)具有精确的多元高斯后验,其后验协方差可通过优化一个可解释目标获得:对数似然项用于改善任务表现,一系列 KL 散度项约束后验接近先验。相较于标准 NNGP 极限,关键区别在于保留表征学习,而不只是采用固定核。作者还报告在宽但有限的 DGPs 中进行了实验验证,但摘要未提供数据集、划分、指标或定量结果。 计算与扩展:作者指出,朴素 DKMs 与多数朴素核方法一样,计算复杂度随数据点数量呈立方增长;借助 Gaussian process inducing point 方法构建的稀疏 DKM,则随数据点数量线性增长。该复杂度结论仍需结合诱导点规模和其他固定条件理解。摘要另称,附录将相关方法扩展至具有非高斯后验的神经网络。极限成立条件、具体优化流程、稀疏近似误差、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 DKMs 可用于 EEG 任务,其可学习的层级核与先验约束可能为小样本表征学习提供一种路径,但这只是迁移假设。需将 EEG 窗口或特征组织为核输入,并检验先验、核设计和诱导点选择是否适应通道差异与跨被试分布变化;低信噪比和小数据也可能使可学习核过拟合。一个可证伪的小实验是在固定的跨被试划分下,使用相同 EEG 特征比较固定核方法与稀疏 DKM,并仅在训练数据内选择超参数,检验可学习层级核是否稳定优于固定核。已有 EEG 相关工作尚未检索确认。
该研究为无限宽模型如何保留表征学习提供了可解释的理论路径,并提出稀疏 deep kernel machines;值得核对其极限条件、有限宽验证与稀疏近似,但 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net