学习搜索空间边界以改进 supernet 训练
Learning Search Space Boundaries Improves Supernet Training
基于摘要分析。本文研究神经架构搜索(NAS)对人工设计搜索空间的依赖,提出在 supernet 训练过程中学习可微策略,逐步细化宽泛的初始搜索空间,以推进网络设计流程的自动化。 核心机制是把搜索空间细化作为可学习过程,而不是预先依赖强先验构造小型候选空间。原问题存在两难:小搜索空间限制 NAS 的灵活性,而未经充分细化的大搜索空间可能使搜索方法表现不稳定。摘要未提供策略的参数化方式、空间边界的具体表示、优化目标或训练调度,这些机制细节尚未验证。 作者报告,在缺少强先验的任务中,该方法能够从初始大型复杂搜索空间中持续发现性能较好的子空间,提升所得 supernet 的鲁棒性,并改善多种模型规模下的性能。作者还称,该方案基本不依赖特定搜索空间,与多数现有 NAS 流程改进可兼容,且相较标准 supernet 训练只增加少量开销。摘要未给出任务、数据集、评价指标、对照方法名称及量化结果;实验协议、消融及统计信息尚未验证,不能据此确定收益幅度或普适性。 平台推测(待验证):若 EEG 解码中的架构选择同样受候选空间过大、先验不足影响,可假设训练中学习搜索空间边界有助于提高搜索稳定性。可复用的是空间细化策略,需改造的是 EEG 候选算子、输入通道处理和任务评价目标;该假设依赖可训练的候选架构空间及足以区分候选性能的数据。低信噪比、小数据和跨被试差异可能使边界学习偏向偶然有效的结构。一个可证伪的小实验是:在固定 EEG 数据划分、初始搜索空间和计算预算下,对比标准 supernet 训练与加入空间细化的版本,以独立测试集评估搜索结果及跨随机种子的稳定性。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。
值得阅读的具体原因是作者将 NAS 搜索空间的细化纳入 supernet 训练,通过可微策略减少对手工先验的依赖;其额外开销、鲁棒性收益及适用范围仍需全文实验核对。
来源:OpenReview · State space models · openreview.net