跳到正文
OpenReview · State space models· Lan Huang; Shiqi Sun; Jia Zeng; Wencong Wang; Wei Pang; Kangping Wang·· 2023-05-01精选AI 评分71

U-DARTS:统一空间可微架构搜索

U-DARTS: Uniform-space differentiable architecture search

AI 导读

基于摘要分析。本文研究通用神经架构搜索,针对 DARTS 因资源约束使用较小代理搜索空间、以及偏好过多简单操作导致网络退化的问题,提出统一空间可微架构搜索方法 U-DARTS。核心贡献是让架构搜索与评估在同一空间内进行,并通过正则化抑制网络退化。 机制上,U-DARTS 重新设计搜索空间,直接探索不同的 cell 结构,而非将相同结构的 cell 重复堆叠成网络;同时结合采样与参数共享策略降低资源开销。其正则化方法同时考虑深度与操作复杂度,但摘要未给出具体损失形式、采样分布或优化流程。 作者报告,在 CIFAR-10 上得到参数量为 3.3M、错误率为 2.59% 的架构。摘要未说明该结果的数据划分、训练配置、重复实验及基线对照,不能据此判断相对其他方法的优势;实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,代码完整性与复现条件尚未核验。 平台推测(待验证):其原问题是梯度驱动架构搜索中的搜索—评估空间差异与操作选择偏置,而非 EEG 解码。假设 EEG 架构搜索也存在类似问题,可复用统一空间搜索、采样与参数共享思路,但需将候选操作改造为适合 EEG 时间与通道结构的模块,并明确任务监督及验证划分。低信噪比、小样本和跨被试差异可能使架构选择不稳定,操作复杂度约束也可能压制有效结构。一个可检验的小实验是在固定 EEG 数据集、Cross-subject 划分及相同搜索预算下,对比 DARTS 与改造后的 U-DARTS,并分别移除统一空间设计和正则化,考察解码指标与搜索稳定性。上述迁移仅为假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其统一搜索与评估空间、结合采样和参数共享控制开销的设计,以及深度与操作复杂度正则化能否缓解 DARTS 的简单操作偏好;其 EEG 适用性尚未验证。

来源:OpenReview · State space models · openreview.net