跳到正文
OpenReview · State space models· Ori Shem-Ur; Jakub Vrabel; Robin Walters; Yaron Oz·· 2025-09-19精选AI 评分77

参数空间对称性的神经切线核视角

Neural Tangent Kernel Perspective on Parameter-Space Symmetries

AI 导读

基于摘要分析。本文研究参数空间对称性如何影响训练动力学:这类变换改变模型参数但保持输出不变,研究以 Neural Tangent Kernel(NTK,神经切线核)框架解释其优化收益,并分析变换对核性质的影响。 核心机制是将参数变换引起的优化变化与核对齐联系起来。作者报告,最大化损失梯度与数据核之间的对齐,等价于最大化 NTK 与数据之间的对齐;结合 NTK 极限下核对齐与优化速率的已知关联,这为损失梯度优化为何能够加快训练提供解释。作者还报告证明了参数空间对称性保持 NTK 极限。摘要提到训练前或训练中实施一次变换往往即可带来收益,但未提供具体实验协议及量化结果,不宜据此判断有限宽度模型中的加速幅度或泛化提升。 需核对的技术条件包括:对称变换的具体形式、对齐量的定义与计算方法、理论成立所依赖的模型及损失假设,以及有限宽度实验中的适用范围。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码模型具有符合论文假设的参数空间对称性,可检验保持初始输出不变的重参数化是否通过改变 NTK 对齐来改善训练,而非直接改变预测。可复用的是对称变换与核对齐分析思路;具体变换及数据核定义需结合模型和监督任务改造,其数据规模与计算依赖尚待全文确认。低信噪比、小样本及跨被试差异可能使训练集上的对齐收益无法转化为泛化收益。一个可证伪的小实验是在固定被试内划分、相同初始化输出与训练预算下,对比原模型和一次对称变换后的模型,核对输出不变性、核对齐、收敛速度与留出集表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于以 NTK 对齐解释保持模型输出不变的参数变换为何可能加速训练,并给出此类对称性保持 NTK 极限的理论论证;其有限宽度适用性及 EEG 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net