通用神经架构空间:涵盖 ConvNets、Transformers 及其间的各类架构
Universal Neural Architecture Space: Covering ConvNets, Transformers and Everything in Between
基于摘要分析。本文研究神经架构搜索(NAS)中不同架构族如何统一表示与探索的问题,提出 Universal Neural Architecture Space(UniNAS),将卷积网络、Transformer 及其混合架构纳入同一灵活搜索空间,同时提出配套搜索算法与标准化训练、评估工具包。 核心思路是采用统一的图式 NAS 视角,既搜索新架构,也在共同框架下分析已有架构。摘要未披露图的节点与边如何定义、可选算子、架构约束、搜索目标及搜索算法的具体实现,因此尚不能判断其覆盖范围与搜索效率。工具包的贡献定位是促进复现及公平比较,但其公开可用状态与具体配置尚未验证。 作者报告,在相同训练设置下,搜索空间内存在优于先进人工设计架构的候选架构。摘要未给出任务、数据集、划分、对照名称、指标、数值或计算预算;这一结果不能解读为跨任务普遍优势。实验协议、消融及统计信息尚未验证,复现时需核对搜索阶段与最终训练阶段的成本及评估条件。 平台推测(待验证):若 UniNAS 的算子与图表示能够适配多通道时间序列,可假设其适用于比较 EEG 局部时序建模与长程依赖建模的组合方式;这不是本文已证实的 EEG/BCI 结果。潜在可复用部分是架构表示、搜索流程及统一评估框架,需改造输入编码、时空算子与任务输出。低信噪比、小数据及跨被试分布差异可能使搜索结果不稳定,或偏向验证集。一个可检验的小实验是在固定 EEG 数据划分和搜索预算下,对比搜索所得架构与预设卷积、Transformer 基线,并用独立被试测试集评估泛化。已有相关 EEG 工作尚未检索确认。
值得核对 UniNAS 如何在同一图式搜索空间中表示卷积、Transformer 及混合架构,以及统一训练协议下的架构比较;其搜索成本与 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net