面向 NAS 的可配置、非层级搜索空间
Towards a configurable and non-hierarchical search space for NAS
基于摘要分析。该研究针对 Neural Architecture Search(NAS)依赖硬编码搜索空间与预定义层级架构的问题,提出可定制搜索空间、支持完整网络搜索的方法,旨在降低任务适配对专家知识的依赖,并减少预设结构对性能归因的干扰。原研究对象是通用神经网络架构搜索,实验涉及图像分类,而非 EEG 或 BCI。 方法在连续架构嵌入空间中,使用基于 Gaussian Process(GP)的 Bayesian Optimization(BO)搜索网络。嵌入由 Wasserstein Autoencoder 构建,并通过 Maximum Mean Discrepancy(MMD)惩罚及预测架构参数量的 Fully Input Convex Neural Network(FICNN)潜空间预测器加以正则化。其关键思路是将离散架构搜索转为连续空间优化,同时把模型复杂度信息引入嵌入学习;具体架构编码、约束形式与训练流程尚未验证。 作者先以最小化参数量、最大化 zero-shot accuracy proxy 两项计算成本较低的任务,评估嵌入是否适合优化;随后在 CIFAR-10 与 STL-10 上,基于两个不同搜索空间开展两种复杂度感知 NAS。作者报告获得了模型规模受限且具有竞争力的架构,但摘要未提供具体分数、参数量、搜索预算或基线,无法据此量化收益。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若能为 EEG 网络定义有效的架构编码和合法算子集合,该机制可能用于探索小模型的性能—复杂度权衡;可复用部分是架构嵌入与 BO,需改造搜索空间、评价目标及 zero-shot proxy。该路径依赖足够的候选架构评价信号,EEG 的低信噪比、跨被试差异与小样本可能使代理指标失真。可检验的小实验是在固定 EEG 任务、数据划分和搜索预算下,与同一搜索空间内的随机搜索比较分类指标及参数量,并核对代理指标与实际训练结果的相关性。已有 EEG 相关工作尚未检索确认。
值得关注其通过可配置的非层级搜索空间与复杂度相关潜空间约束,尝试降低 NAS 对预设架构的依赖;实际搜索成本、对照优势及 EEG 适用性尚未验证。
来源:OpenReview · State space models · openreview.net