DTA-GT:用于神经网络表征学习的方向与拓扑感知 Graph Transformer
DTA-GT: Direction- and Topology-Aware Graph Transformer for Neural Network Representation Learning
基于摘要分析。本文研究神经架构搜索中的架构属性预测:利用少量已评估的候选架构,预测其他架构的准确率或延迟,以降低搜索成本。作者提出 DTA-GT,将方向一致性贯穿整个编码器,用于保留操作标记有向无环图(DAG)中的计算流语义;研究对象是人工神经网络架构,而非脑信号。 核心机制包括方向与拓扑感知的节点初始化、Magnetic Laplacian 谱编码、direction-dual structural attention,以及 Direction-Sensitive MoE-FFN。其设计重点不是仅将边方向作为局部结构线索,而是在节点初始化、全局谱编码、成对交互和特征更新各阶段协调使用方向信息。具体公式、谱编码构造、专家路由与训练目标尚未验证。 作者报告,在 NAS-Bench-101 和 NAS-Bench-201 的准确率与延迟预测任务中,DTA-GT 在有限预算设置下持续优于代表性的序列、GNN、Transformer 和混合预测器。摘要未提供预算大小、数据划分、具体基线、评价指标或数值,不能据此判断提升幅度。作者报告,消融与 Magnetic 谱控制实验支持方向感知阶段的协同作用及边朝向敏感谱信息的贡献,机制诊断也显示模块具有预期的方向行为;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码模型的搜索空间可表示为操作标记 DAG,且能获得架构在明确评估协议下的性能或延迟标签,则该方法可能用于候选架构排序,而不是直接处理 EEG。可复用方向一致性编码框架,但需适配 EEG 架构的操作词表和属性标签;低信噪比、小数据及被试差异可能使准确率标签不稳定,架构图本身也未必能表达这些差异。一个可检验的小实验是在固定 EEG 任务与 Cross-subject 划分下,以相同候选评估预算比较 DTA-GT 与方向信息弱化的对照预测器,检查留出架构的预测误差及排序质量。已有 EEG 相关工作尚未检索确认。
值得核对其将计算方向一致性贯穿架构图编码全过程的设计,以及方向感知模块与 Magnetic 谱编码的消融证据;其对 EEG 模型架构搜索的价值尚未验证。
来源:arXiv · 表征与预训练 · arxiv.org