跳到正文
OpenReview · State space models· Kun Jing; Jungang Xu; Zhen Zhang·· 2022-01-01精选AI 评分70

面向高效搜索空间的神经架构生成器

A neural architecture generator for efficient search space

AI 导读

基于摘要分析。本文研究通用神经架构搜索(NAS),针对既有方法依赖小规模人工设计搜索空间、单次搜索通常仅得到一个架构且难以复用的问题,提出神经架构生成器 NAG,旨在通过一次对抗训练支持多次、满足定制要求的架构采样。 核心机制类似 GAN:生成器输出有向无环图(DAG),作为神经架构的单元或模块;判别器估计 DAG 来自真实架构单元而非生成器的概率。在此基础上,作者结合随机搜索形成 RS-NAG,按定制要求寻找架构。其可核对的贡献重点是架构生成与后续搜索的解耦,以及训练后生成器的复用,而非特定神经信号任务。摘要未说明图的编码方式、合法性约束、具体损失和定制条件的实现。 作者报告,NAG 经一次对抗训练后可多次生成满足定制要求的多样架构;RS-NAG 在 CIFAR-10 和 ImageNet 上取得具有竞争力的结果。摘要分别将 2.50% 和 25.5% 称为 top-1 accuracies,此处按原文保留,不能自行改写为错误率;指标名称、评估划分、对照方法、搜索预算及最终训练协议尚需核对全文。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 DAG 搜索空间可编码 EEG 时序处理算子及计算预算,架构生成与搜索解耦的思路可能用于受限算力下的 EEG 模型搜索。可复用的是生成—判别及候选采样框架,需改造的是 EEG 算子集合、输入通道约束与候选评估流程;依赖代表性架构样本和足够搜索预算,小数据、低信噪比及跨被试差异可能使候选排序不稳定。一个可证伪的小实验是在固定 EEG 数据划分、算子集合与候选评估预算下,对比 RS-NAG 和普通随机搜索的候选有效率及最终任务指标。上述仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是对抗训练后的架构生成器能否复用于多次定制搜索;摘要中的 top-1 指标表述及搜索成本仍需全文确认,尚无 EEG/BCI 有效性证据。

来源:OpenReview · State space models · openreview.net