跳到正文
OpenReview · Representation learning· Yun Yi; Haokui Zhang; Rong Xiao; Nannan Wang; Xiaoyu Wang·· 2023-01-01精选AI 评分74

NAR-Former V2:重新思考用于通用神经网络表示学习的 Transformer

NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning

AI 导读

研究面向神经网络架构本身的表示学习,提出 NAR-Former V2,旨在不实际训练和部署每个候选网络的情况下预测其属性,并同时支持单元结构网络与完整网络。基于摘要分析,其主要对象是网络架构图,而非 EEG 信号或生物神经网络。 方法先将网络视为图,通过 tokenizer 编码为序列,再向 Transformer 引入 GNN 的归纳表示学习能力,以改善对未见架构的泛化;同时采用若干面向图结构表示的修改。摘要未展开图节点与边的编码、归纳机制的具体实现、训练目标及模型规模,这些细节尚未验证。 作者报告,在 NNLQP 数据集的完整网络时延预测任务中,该方法明显优于 GNN 方法 NNLP;在 NASBench101、NASBench201 的单元结构网络准确率预测任务中,与其他先进方法表现相当。摘要未提供具体数值、数据划分及未见架构的定义,实验协议、消融及统计信息尚未验证。这里的准确率预测指预测候选网络的任务表现,并非本文直接开展 EEG 分类。材料提供了代码仓库,但代码完整性及复现条件尚未核查。 平台推测(待验证):若有 EEG 候选架构及同一硬件、同一测量协议下的时延记录,可假设其图编码与属性预测机制有助于降低架构筛选成本。可复用架构表示模块,但需适配 EEG 模型算子和通道相关配置;若预测任务准确率,还需明确数据集、被试与训练协议,避免将架构之外的差异混入目标。小规模架构样本及未见算子可能导致泛化失败,低信噪比和跨被试差异也会增加准确率标签的不稳定性。可先在固定硬件上,按架构划分训练与测试集,比较其与 GNN 基线预测未见 EEG 架构时延的误差。该假设不等于已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将网络图序列化并向 Transformer 引入 GNN 归纳表示能力的机制,以及整网时延预测与单元结构准确率预测的差异化验证;对 EEG 架构评估的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net