OpenReview · State space models· Fynn Kiwitt; Behrooz Tahmasebi; Stefanie Jegelka·· 2025-09-08精选AI 评分79
权重空间学习中的对称性:保留还是消除?
Symmetries in Weight Space Learning: To Retain or Remove?
AI 导读
研究关注权重空间学习中的参数对称性:当不同权重配置实现同一个端到端函数时,是否应该消除这些冗余表示?作者提出理论分析,并报告是否应消除冗余取决于目标泛函,而非仅由端到端函数的等价性决定。基于摘要分析,未取得论文全文。 权重空间学习以神经网络参数为研究对象,可用于预测模型行为或分析隐私风险。本文以包括 Low-Rank Adaptation(LoRA)在内的参数对称性为背景;摘要指出,LoRA 存在尺度与旋转不变性。所谓将对称性“商空间化”,可理解为把对称变换下等价的参数表示归入同一等价类。作者报告,其理论证明表明:对于某些权重空间预测任务,消除端到端对称性可能损害通用性,因此不能一概要求这类方法忽略所有实现相同函数的参数差异。 主要阅读价值在于厘清预测目标与所施加不变性之间的关系,而不是提出新的 EEG 解码方法。具体目标泛函、适用任务类别、通用性的数学定义、定理假设与证明尚需全文核对;摘要未提供实验数值,实验协议、消融及统计信息尚未验证。作者称这是对该现象的首次形式化识别,该优先性声明尚未独立核实。材料未建立具体 EEG/BCI 机制对应关系,因此不据此推断 BCI 效果或提出迁移实验;相关 EEG 工作尚未检索确认。
阅读价值
值得核对其关于对称性商空间化可能损害通用性的理论条件,为权重空间预测方法是否应消除冗余表示提供任务依赖的设计依据。
来源:OpenReview · State space models · openreview.net