跳到正文
OpenReview · State space models·· 23 天前精选AI 评分73

在序列到架构潜空间中进行贝叶斯优化的零样本 NAS

Bayesian Optimization in Sequence-to-Architecture Latent Space for Zero-Shot NAS

AI 导读

基于摘要分析。本文研究计算机视觉模型的零样本神经架构搜索(Zero-Shot NAS),通过学习序列到架构的潜空间,将贝叶斯优化用于大规模架构搜索,并把多个零样本代理指标标量化为统一搜索目标。 核心机制是使用 Variational Autoencoder(VAE)重构作者提出的架构前缀编码,以获得用于搜索的潜在表示。其动机是:传统零样本 NAS 常采用进化算法(EA),而直接在高维、离散、图结构的架构空间中应用贝叶斯优化存在扩展性困难。作者认为,潜空间表示可缓解这一困难,贝叶斯优化则能显式建模目标并累积各轮搜索信息。摘要未披露编码规则、VAE 训练数据与损失细节、潜变量到有效架构的解码约束,以及代理指标组合方式。 作者报告,在给定模型参数量约束下,搜索算法运行 10,000 次迭代、耗时为单 GPU 上的 8 小时,找到的架构在图像分类、目标检测和语义分割三项任务上取得作者所称的最先进结果。摘要未给出数据集、任务指标、参数量上限、GPU 型号、对照基线及下游训练协议,因此无法据此核对优势幅度或公平比较不同方法。实验协议、消融及统计信息尚未验证。摘要声称提供搜索代码、潜空间模型和发现的架构,但所列地址含 HiddenForReview 占位名称,实际可访问性及复现条件尚未验证。 平台推测(待验证):若能为 EEG 网络建立可解码的架构编码,这种“潜空间搜索+多代理目标”机制可能用于受参数量与计算预算约束的 EEG 架构搜索。可复用的是搜索框架,需改造的是架构表示、训练架构库与代理指标;主要风险是视觉任务代理在低信噪比、小数据和跨被试条件下不能可靠预测 EEG 泛化性能。一个可检验的小实验是在固定 EEG 架构空间与相同评估预算下,对比潜空间贝叶斯优化、EA 和随机搜索,固定被试内或跨被试划分,核对代理排序与实际训练后性能的相关性及搜索收益。已有 EEG 相关工作尚未检索确认,原文结果不构成 BCI 有效性的证据。

阅读价值

值得核对其架构前缀编码、VAE 潜空间与多代理标量化如何支持大规模零样本 NAS,尤其是相较 EA 的搜索效率及代理目标与下游性能的对应关系;摘要中的效果尚需全文验证。

来源:OpenReview · State space models · openreview.net