跳到正文
OpenReview · Representation learning· Filipe Assunção; Nuno Lourenço; Penousal Machado; Bernardete Ribeiro·· 2019-01-01精选AI 评分78

DENSER:深度演化网络结构化表示

DENSER: deep evolutionary network structured representation

AI 导读

基于摘要分析。DENSER 面向深度神经网络的自动生成,将遗传算法(GAs)与动态结构化语法演化(DSGE)结合,以分层表示同时描述网络宏观结构及各演化单元的参数,减少人工设计网络与配置的需求。 机制上,GA 层编码网络层、学习方法及数据增强方法等宏观组成;DSGE 层规定各演化单元的参数及其合法范围。语法使搜索空间可以随网络类型、层类型、任务和参数范围调整。其方法价值在于用可修改的语法约束自动设计过程,而非仅搜索某个固定 CNN 结构;具体适应度、训练预算、遗传操作和搜索成本尚未验证。 作者报告,在 CIFAR-10 上自动生成 CNN,最佳网络的 Accuracy 达到 95.22%。作者还将 CIFAR-10 上演化得到的最优网络用于 MNIST、Fashion-MNIST、SVHN、Rectangles 和 CIFAR-100 分类,其中 CIFAR-100 的 Accuracy 为 78.75%。摘要未明确这些网络在新数据集上的训练或微调方式,因此不能将其理解为零样本跨数据集迁移。作者据此认为发现的网络具有泛化性、鲁棒性和可扩展性,并称 CIFAR-100 结果在其所知的自动设计 CNN 方法中达到当时最佳;相关比较范围、数据划分、消融及统计信息尚未验证。 平台推测(待验证):这一机制可能用于 EEG 模型结构搜索,但原研究对象是图像分类,依赖候选网络训练与性能评估。迁移时可复用分层编码和语法约束,需将搜索单元改为适合 EEG 时间、通道及频谱结构的算子,并以严格隔离被试或会话的验证集评估适应度。低信噪比、小样本和通道差异可能使搜索过拟合验证集,搜索成本也可能限制重复实验。一个可证伪的小实验是在固定 EEG 任务、相同 Cross-subject 划分及训练预算下,对比语法搜索与随机搜索,并在未参与搜索的被试上检验收益。已有 EEG 相关工作尚未检索确认。

阅读价值

DENSER 以遗传算法和语法编码联合搜索网络结构及相关配置,值得核对其搜索空间可控性与跨数据集复用方式,但摘要中的图像分类结果不构成 EEG/BCI 有效性证据。

来源:OpenReview · Representation learning · openreview.net