跳到正文
OpenReview · State space models· Yangyi Du; Xiaojun Zhou; Tingwen Huang; Chunhua Yang·· 2023-01-01精选AI 评分70

基于状态转移算法的分层演化神经架构搜索方法

A hierarchical evolution of neural architecture search method based on state transition algorithm

AI 导读

基于摘要分析。本文针对演化算法驱动的神经架构搜索(NAS)需要大量性能评估、耗时较高的问题,提出 HENA(Hierarchical Evolution of Neural Architecture),将搜索拆分为候选操作搜索和连接关系搜索两个连续阶段,并借助超网权重继承减少重复训练。原研究对象是图像分类网络架构搜索,而非 EEG/BCI,也不是状态空间序列模型。 机制上,HENA 定义覆盖整个搜索空间的超网,使候选架构能够继承其权重,并使用状态转移算法(STA)连续遍历搜索空间。第一阶段在 mini-group 数据上训练若干采样架构,为网络不同位置寻找较优操作;第二阶段继承已训练权重,无需额外训练即可搜索操作之间的较优连接关系。其主要方法特点是分阶段搜索与共享权重评估的结合;具体操作集合、搜索预算、训练流程和运行成本尚未验证。 作者报告,搜索得到的架构在 CIFAR-10 和 CIFAR-100 上分别取得 2.93% 和 20.44% 错误率,并称达到当时的 state-of-the-art;在 ImageNet 上取得 24.8% top-1 错误率。摘要未提供数据划分、对照基线及最终架构训练设置,因此这些数字仅适用于文中相应图像分类评估,不能据此比较不同协议,也不能量化搜索加速幅度。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码的候选操作和连接能纳入可共享权重的超网,该机制可能用于降低架构搜索的重复训练开销。可复用的是分阶段搜索与 STA 搜索流程;需改造的是面向时间、通道结构的操作空间及评估协议。EEG 低信噪比、小数据、通道差异和跨被试分布变化可能使继承权重下的候选排序不稳定。一个可检验的小实验是在固定 EEG 任务、被试隔离划分和相同搜索预算下,对比 HENA 式搜索与随机搜索,并核对候选继承权重评估与独立重训后的排序一致性及耗时。该迁移仅是假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 HENA 将操作搜索与连接搜索分阶段、通过超网权重继承减少重复训练的机制,但摘要中的图像分类结果尚不能证明其搜索效率优势或 EEG/BCI 适用性。

来源:OpenReview · State space models · openreview.net