跳到正文
OpenReview · State space models· Bhavna Gopal; Arjun Sridhar; Tunhou Zhang; Yiran Chen·· 2023-01-01精选AI 评分75

LISSNAS:用于神经架构搜索的基于局部性的迭代搜索空间收缩

LISSNAS: Locality-based Iterative Search Space Shrinkage for Neural Architecture Search

AI 导读

LISSNAS 研究神经架构搜索(NAS)中大型复杂搜索空间难以高效探索的问题,提出自动收缩搜索空间的算法,目标是在保留架构多样性的同时提取多个性能良好的局部区域。基于摘要分析,未取得论文全文;其主要研究对象是通用神经架构搜索,而非 EEG 或 BCI 解码。 核心机制是利用 locality,即架构结构相似性与性能相似性之间的关系。与摘要所述仅选择单一子区域的收缩方法相比,LISSNAS 旨在保留多个优良架构区域,形成更小且具有多样性的搜索空间。局部性的具体度量、迭代筛选规则、性能评估方式与计算开销尚未验证。 作者报告在不同规模的搜索空间及多个数据集上评估该方法,并在两个搜索空间的 one-shot search 中取得最佳 Top-1 Accuracy;摘要未提供这些搜索空间的名称及对应对照。作者还报告在 ImageNet 的移动端约束下取得 77.6% Top-1 Accuracy,并声称在 Kendall-Tau、架构多样性及搜索空间规模方面具有领先表现。移动端约束的定义、数据划分、训练配置、基线、统计信息及消融尚未验证,因此不能据此判断不同协议下的优势。 平台推测(待验证):若 EEG 解码架构的结构邻近性也对应稳定的性能邻近性,该收缩思路可能减少小数据条件下的 NAS 评估成本。可复用的是多局部区域保留策略;需改造的是 EEG 候选算子、架构性能评估与资源约束。低信噪比、通道差异及被试差异可能使局部性能关系不稳定,导致误删有效架构。一个可检验的小实验是在固定 EEG 数据划分与训练预算下,先检验结构距离与验证性能差异的关系,再比较原始空间、单区域收缩与 LISSNAS 收缩的搜索成本及独立测试集表现。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得核对其利用结构—性能局部性保留多个优良架构子区域的搜索空间收缩机制,以及架构多样性与搜索效率的权衡;摘要中的领先性能声明仍需结合完整实验协议验证。

来源:OpenReview · State space models · openreview.net