权重空间学习中的对称性:保留还是移除?
Symmetries in Weight Space Learning: To Retain or Remove?
基于摘要分析。本文研究以神经网络参数为输入的权重空间学习,核心问题是:当不同参数表示对应相同端到端函数时,是否应消除这些表示之间的冗余?作者报告,通过完整刻画一个新的对称权重空间,说明冗余是否有用取决于待预测的函数,移除端到端对称性可能损害权重空间学习的通用性。 原论文的主要对象是神经网络权重空间的理论结构,而非 EEG 信号解码。摘要以 LoRA 中的尺度与旋转不变性为例,讨论模型行为预测等权重空间学习任务。其关键区分是:对于原网络端到端函数等价的参数表示,不一定对于权重空间上的预测目标也等价。因此,不能仅凭原网络的函数等价性,就认定相关参数差异应被删除。 作者称,这是首次形式化识别并呈现这一现象;该优先性声明尚未独立核实。摘要未提供新空间的具体定义、对称群条件、预测目标类别、通用性的形式化含义或证明细节,也未给出可核对的实验结果。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若以 EEG 解码器权重或 LoRA 参数为输入,预测模型性能或适应行为,该理论可能帮助判断哪些参数对称性应保留、哪些可消除。此假设依赖明确的参数对称关系、可比较的模型结构及预测目标监督,不意味着已证实的 BCI 效果。可复用的是目标相关的对称性分析,需改造的是 EEG 模型的参数变换与预测目标定义;低信噪比、小规模模型集合及跨被试、跨通道差异可能使目标估计不稳定,或使实际差异并非来自对称冗余。一个可检验的小实验是在固定结构的 EEG 解码器集合中,构造端到端函数等价的参数变换,检验指定预测目标是否随变换改变,再比较保留与消除冗余的权重表示。已有 EEG 相关工作尚未检索确认。
值得阅读其关于权重空间对称性与预测目标关系的理论分析:作者指出,移除端到端函数等价的冗余表示并不总是合理,可能损害权重空间学习的通用性;具体成立条件仍需核对全文。
来源:OpenReview · State space models · openreview.net