参数对称性并非任务对称性:权重空间学习可以采用哪些不变性?
Parameter Symmetries Are Not Task Symmetries: Which Invariances Can Weight-Space Learning Afford?
基于摘要分析。本文研究从神经网络参数预测其属性的权重空间学习,核心问题是:保持网络函数不变的参数变换,是否也保持待预测目标不变?作者提出应按目标确定任务对称群,而非统一对所有参数对称性施加不变性;作者报告,对超出任务对称群的变换取商会产生不可约误差,并给出紧群情形下的精确计算。 在 LoRA 中,作者推导出同一参数化下不同目标的不变性层级:函数层面目标具有 GL_r 不变性,欧氏敏感性仅具有 O(r) 不变性,梯度稀疏性仅对带符号置换不变,而与初始化的距离不具有对称性。摘要将中间两级与优化器联系起来,指出梯度下降和 Adam 分别通过 ℓ₂ 与 ℓ₁ 梯度范数度量进展;其具体定义与推导条件尚未验证。作者还指出,涉及参考模型的目标,例如相对预训练基座的漂移,会失去权重空间架构通常施加的神经元置换对称性。 作者报告,在合成模型集合(synthetic zoos)与经 LoRA 微调的语言模型上,实验支持预测的不变性层级差异。摘要未提供具体模型、样本规模、数据划分、对照架构或指标数值,实验协议、消融及统计信息尚未验证。复现时需核对目标定义、群作用、取商方式,以及理论误差与实验误差的对应条件。 平台推测(待验证):若将权重空间学习用于 EEG 解码模型的属性预测,该判据可能帮助区分函数性能目标与相对基座漂移等参考依赖目标;这不构成已验证的 EEG 或 BCI 效果。可复用的是任务对称性分析,需重新定义 EEG 模型上的目标、参考模型及参数变换。一个可检验的小实验是,对同一 EEG 解码模型施加保持函数不变的神经元置换,分别检查解码性能和相对固定基座的参数距离是否保持不变,再比较强制置换不变与保留参考对应关系的预测器。低信噪比、小模型集合及跨被试或通道配置差异可能影响属性估计与泛化;相关 EEG 工作尚未检索确认。
值得核对其任务对称性判据与不可约误差推导,因为它直接检验权重空间预测器中常见的全参数对称性不变设计是否会丢失目标所需信息。
来源:OpenReview · State space models · openreview.net