面向 One-Shot 神经架构搜索的搜索空间渐进式自动设计
Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search
基于摘要分析。本文研究 One-Shot Neural Architecture Search(NAS)中权重共享评估与独立训练表现不一致的问题,提出 Progressive Automatic Design of search space(PAD-NAS),通过渐进式操作剪枝自动构建逐层操作搜索空间,同时在搜索过程中考虑硬件平台约束。 核心机制是改变各层共享相同候选操作空间的设计:PAD-NAS 采用基于操作剪枝的渐进式搜索策略,为不同层形成各自的操作搜索空间,目标是在搜索空间质量与模型多样性之间取得平衡。摘要未说明剪枝依据、阶段安排、权重训练方式或硬件约束的具体实现,这些细节尚未验证。 作者报告,在 ImageNet 上的广泛实验中,该方法达到当时的 state-of-the-art 表现;摘要没有给出具体指标、数值、对照方法、数据划分或硬件条件,因此无法核对效果幅度,也无法确认其是否直接改善了共享权重评估与独立训练之间的架构排名一致性。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 架构搜索同样存在共享权重导致的候选排序不稳定,逐层操作剪枝可能具有复用价值,但这只是假设,ImageNet 结果不等于 BCI 有效性。可复用的是渐进式搜索空间设计;候选操作、输入表示与硬件约束需针对 EEG 时空结构改造。低信噪比、小数据及跨被试差异可能使剪枝依据不稳定,过早排除有效结构。一个可检验的小实验是:在固定 EEG 数据划分与搜索预算下,对比统一操作空间与逐层渐进剪枝,核对候选架构的共享权重评分和独立训练表现的排名一致性,并分别报告被试内或跨被试结果。已有 EEG 相关工作尚未检索确认。
值得阅读的具体原因是 PAD-NAS 通过渐进式操作剪枝构建逐层搜索空间,针对权重共享评估与独立训练表现不一致的问题提供了可核对的方法路径,但其排名可靠性及 BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net