FENAS:协同零成本代理的高效神经架构搜索少样本元集成框架
FENAS: A Few-Shot Meta-Ensembling Framework for Efficient Neural Architecture Search with Synergized Zero-Cost Proxies
基于摘要分析。FENAS 研究有限评估预算下的神经架构搜索(NAS)性能预测问题,通过融合互补的零成本代理(ZCP)与轻量级元学习器,以少量已标注架构学习性能排序,减少对架构拓扑编码和高成本表征学习的依赖。 核心组件 CAST 是结合 copula 对齐与协同变换的特征流水线,将异质 ZCP 映射到紧凑特征空间。其出发点是:单一 ZCP 通常只反映架构的部分属性,因而在不同数据集和搜索空间上可能产生不稳定排序。FENAS 尝试利用初始化阶段的互补先验改善排序,而非依赖图编码器学习架构表征;具体代理选择、变换公式及元学习训练方式尚未验证。 作者报告,在 NAS-Bench-201、仅使用 0.5% 已标注样本的条件下,FENAS 的 Kendall’s Tau(τ)为 0.70,优于该低标注设置下的代表性拓扑少样本预测器。作者另报告,在闭域搜索中评估 NAS-Bench-201 搜索空间约需 1138 秒,并取得有竞争力的测试准确率;摘要未提供准确率数值、硬件及完整计时口径。数据划分、对照配置、消融及统计信息尚未验证,不能将排序相关性直接视为最终任务准确率提升。 平台推测(待验证):其可迁移假设是,多个初始化代理经对齐与融合后,可能降低小预算 EEG 架构搜索对充分训练评估的需求。可复用的是代理特征处理与少样本排序模块,需改造的是适配 EEG 输入和候选架构的代理计算及性能标注协议。低信噪比、通道差异与跨被试变化可能使初始化代理和实际泛化性能脱钩,小样本监督也可能导致排序不稳定。一个可证伪的小实验是在固定 EEG 候选空间及跨被试划分下,以相同标注预算比较 FENAS、单一 ZCP 与简单代理融合,核对排序相关性及最终选中架构的性能。已有 EEG 相关工作尚未检索确认。
值得核对 CAST 能否在极少标注架构条件下稳定融合互补零成本代理,尤其是其相对拓扑预测器的排序收益与完整搜索成本;对 EEG 架构搜索的价值尚未验证。
来源:arXiv · 表征与预训练 · arxiv.org