跳到正文
OpenReview · Representation learning· Filipe Assunção; Nuno Lourenço; Penousal Machado; Bernardete Ribeiro·· 2018-01-01精选AI 评分78

DENSER:深度演化网络结构化表示

DENSER: Deep Evolutionary Network Structured Representation

AI 导读

基于摘要分析。DENSER 研究如何通过演化计算自动设计人工神经网络,同时搜索网络拓扑与训练相关超参数,其主要贡献是以双层表示组织结构和参数,并用上下文无关文法定义可搜索空间。原论文的主要研究对象是图像分类网络,而非 EEG 或 BCI。 机制上,外层编码网络的总体结构,即层序列;内层编码各层关联的参数。允许使用的层类型与超参数取值范围由人类可读的 Context-Free Grammar 定义,搜索范围还涉及学习参数和数据增强参数。这种设计使人工先验能够通过文法进入自动搜索,但摘要未交代演化算子、候选网络的训练与筛选流程或计算预算。 作者报告,在 CIFAR-10 上演化得到的网络平均测试 Accuracy 为 94.13%;随后将这些网络用于 MNIST、Fashion-MNIST 和 CIFAR-100 测试,其中 CIFAR-100 的测试 Accuracy 为 78.75%。这些结果属于图像分类评估,摘要未说明后续数据集上的重训练或微调方式、具体划分及平均次数,不能据此认定为无需适配的跨数据集迁移。作者关于自动设计 CNN 性能领先的表述是论文自身主张,其对照范围、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是“文法约束下的结构与超参数联合搜索”,而非已演化出的图像网络本身。其潜在对应问题是 EEG 解码中网络结构与训练配置的选择;需将文法改造为适配 EEG 时序、通道布局及任务标签的搜索空间,并具备独立验证数据与足够的候选训练预算。低信噪比、被试差异、通道不一致及小样本可能使搜索过拟合验证集。一个可证伪的小实验是在固定 EEG 任务、被试内划分和等计算预算下,对比文法约束演化搜索与随机搜索,在独立测试集上评估解码表现及多次运行稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其用双层表示与人类可读的上下文无关文法联合约束网络结构和超参数搜索的机制,但图像分类结果不能直接视为 EEG/BCI 有效性证据。

来源:OpenReview · Representation learning · openreview.net