结构化分层表示学习:迈向通过遗传编程实现深度学习
Structurally Layered Representation Learning: Towards Deep Learning Through Genetic Programming
基于摘要分析。本文研究如何利用遗传编程(GP)从大规模、高维原始数据中学习表示,提出结构化分层 GP 框架及相应的搜索空间探索方案,并以该框架下实现的 autoencoder 作为实验案例。 核心机制是借鉴深度神经网络逐层学习描述性或判别性表示的思路,为 GP 引入分层表示结构。作者将其与既有主要面向少量输入变量、小规模数据,或依赖领域专家知识的 GP 特征学习工作相对照,目标是扩大 GP 表示学习可处理的数据规模与维度。摘要未说明层间连接、程序编码、遗传操作、适应度函数及 autoencoder 的具体训练目标,不能据此将其等同于常规深度网络的训练过程。 作者报告,autoencoder 案例的实验结果支持该框架的益处,但摘要未提供数据集、划分协议、基线、评价指标或数值,因而尚不能判断表示质量、搜索效率和计算成本的具体改善幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若分层 GP 能学习可组合的特征变换,可能用于探索 EEG 高维输入的特征构造,但原论文并未验证 EEG/BCI 效果,相关已有工作尚未检索确认。可复用的是分层表示与程序搜索思路;需改造输入组织、适应度评价及复杂度约束,以适应 EEG 的时空结构和小样本条件。低信噪比、跨被试差异及通道变化可能使搜索过拟合。一个可证伪的小实验是在固定 EEG 数据划分与相同下游分类器下,对比分层 GP、非分层 GP 和常规特征表示,同时记录泛化性能与搜索开销,并将全部特征搜索限制在训练数据内。
值得关注的是以结构化分层表示和搜索方案扩展 GP 特征学习,并以 autoencoder 作为验证案例;其相对基线的收益、计算代价及对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net