AutoML 搜索空间与搜索策略的自动选择
Automated search space and search strategy selection for AutoML
基于摘要分析(所给材料为研究亮点,未取得论文全文)。本研究面向通用 AutoML 与神经架构搜索,尝试在给定数据集和搜索预算时,自动联合选择搜索空间与搜索策略,减少依赖人工预定义空间及固定策略搭配的设计。其主要研究对象是架构搜索流程,而非 EEG 或 BCI。 核心机制:vanilla LArST 将上述选择视为组合优化问题,利用 probing model 提取的元特征和基于决策树的方法选择搜索空间及搜索策略。材料还介绍了 layered architecture search tree(LArST),通过监督学习建立搜索空间与基础 cell 的直接联系,以探索跨数据集迁移。元特征的具体构成、监督目标、训练数据来源及搜索树结构尚未验证。 平台与目标:作者报告,不同操作在不同硬件平台上的表现存在差异,因此搜索空间设计应考虑平台与优化目标;方法旨在支持 GPU、x86 CPU、Power series CPU 等平台上的多目标 AutoML。材料引用既有研究说明 CNN 较早阶段可能更影响推理延迟,以及 CIFAR-10 上的基础 cell 可迁移至 ImageNet;这些引用不能视为本文已验证的结果。 结果与复现:作者报告性能有所提升,并称框架可接入既有架构搜索策略与搜索空间表示,但所给材料未展示具体指标、数值、对照与预算协议。实验协议、消融及统计信息尚未验证;复现需核对候选空间与策略集合、元特征提取成本、监督学习数据、总搜索开销及硬件延迟测量方式。 平台推测(待验证):迁移假设是,数据集元特征与预算驱动的联合选择机制可能用于 EEG 解码中选择模型候选空间及搜索策略,而非直接迁移图像 CNN 的 cell。可复用选择框架,但需改造 EEG 元特征、时空操作集合和性能/延迟目标,并验证其对元训练数据规模的依赖。低信噪比、通道差异、小数据及跨被试分布变化可能使元特征和选择规则不稳定。一个小规模检验是在固定任务与等总计算预算下,用训练被试构建选择规则,在留出被试上比较联合选择与固定空间/固定策略,并计入 probing 成本、隔离测试标签。已有 EEG 相关工作尚未检索确认。
值得阅读的是将搜索空间与搜索策略联合选择,以及按硬件平台和优化目标调整搜索空间的机制;其性能收益与跨数据集迁移能力仍需核对全文实验,对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net