跳到正文
OpenReview · State space models·· 29 天前精选AI 评分83

CrossGMN:用于跨架构权重空间变换的图元网络

CrossGMN: Graph Metanetworks for Cross-Architecture Weight-Space Transformations

AI 导读

基于摘要分析。本文研究如何直接利用已训练网络的参数,为不同架构的目标网络生成或更新权重,主要面向模型压缩等跨架构变换,而非 EEG/BCI。作者提出 CrossGMN,通过联合处理源网络和目标网络初始化,使跨架构权重映射具备明确的置换对称性。 核心机制是将变换写成双输入算子:输入已训练源网络与目标网络初始化,利用源网络信息细化目标权重。该算子对源网络的神经元置换保持不变,对目标网络的神经元置换保持等变;CrossGMN 通过保持这些对称性的跨网络消息传递实现联合处理。作者报告,在一般位置假设下,CrossGMN 对紧集上的连续跨架构算子具有通用逼近能力;具体假设及证明边界尚需全文核对。 作者在模型压缩中用 CrossGMN 预测较小网络的参数,以加速后续知识蒸馏。作者报告,在涵盖二维和三维 INRs,以及 MLPs、CNNs 和 Vision Transformers 图像分类的实验中,蒸馏加速最高达 8.89×;无需重新训练的跨数据集迁移实验报告 3.78× 加速,并报告单个模型可将异构源架构压缩至共同目标架构。摘要未给出具体数据集、加速计时口径、目标性能匹配条件与成本摊销方式,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若可获得同类任务下多个已训练 EEG 网络及其参数,跨架构权重变换可能用于小型解码器的蒸馏初始化。可复用的是双网络表示与对称性约束;需改造的是 EEG 架构的图表示、通道语义及任务监督。低信噪比、跨被试差异和可用源模型数量不足可能使权重迁移失效。一个可检验的小实验是在固定跨被试划分下,对比 CrossGMN 初始化与随机初始化的小型目标网络,在相同蒸馏预算下测量 Accuracy 和达到相同 Accuracy 所需时间,并单独计入元网络成本。该迁移假设并非本文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其如何通过源网络置换不变性与目标网络置换等变性统一跨架构权重变换,以及蒸馏加速是否在计入元网络训练和推理成本后仍成立;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net