PWSNAS:以通用搜索空间缩减框架增强权重共享 NAS
PWSNAS: Powering Weight Sharing NAS With General Search Space Shrinking Framework
基于摘要分析。本文研究神经架构搜索(NAS)中权重共享超网络对候选架构性能估计不准确、波动较大的问题,提出 PWSNAS,通过自动、渐进地剔除较不重要的候选算子,缩小搜索空间,以辅助既有 NAS 方法寻找更优架构。原论文的主要研究对象是通用架构搜索,而非 EEG 或 BCI。 机制上,DARTS 与 One-Shot 方法通过共享超网络参数避免逐个候选模型从头训练,但共享权重下的评估可能不够可靠。PWSNAS 提出两项引导搜索空间缩减的策略:以新的角度指标识别冗余算子,以及通过增加参数降低超网络的权重共享程度。摘要未给出角度指标的计算对象、公式、算子剔除规则及参数扩展方式,不能据此还原具体实现。 作者报告,在 NASBench-201 的分析实验中,该角度指标优于基于准确率和幅值的指标;作者还报告,将 PWSNAS 应用于 SPOS、FairNAS、ProxylessNAS、DARTS 和 PDARTS 等方法时,相对基线获得一致的性能收益。摘要没有提供具体分数、数据划分或搜索预算,实验协议、消融及统计信息尚未验证。复现时需核对评估指标、搜索与训练成本,以及参数增加是否影响不同方法间的预算可比性。 平台推测(待验证):若 EEG 解码采用权重共享 NAS,候选排序不稳定可能成为对应瓶颈,PWSNAS 的算子筛选机制可作为待测试模块;但需要明确 EEG 输入结构、候选算子集合与监督任务,并重新验证角度指标在低信噪比、小样本、通道变化和跨被试条件下是否仍有效。一个可证伪的小实验是在固定 EEG 任务、被试划分及搜索预算下,对比原始 NAS 与加入 PWSNAS 的版本,检查共享权重评估排序与独立训练后表现的一致性,同时记录计算成本与多次运行波动。已有 EEG 相关工作尚未检索确认,此迁移假设不构成已验证的 BCI 收益。
值得核对其角度指标能否改善权重共享 NAS 的候选评估,以及缩减搜索空间与增加参数之间的成本权衡;摘要报告了基线收益,但尚不足以判断其对 EEG 架构搜索的适用性。
来源:OpenReview · State space models · openreview.net