跳到正文
OpenReview · State space models· Bo Zhao; Nima Dehmamy; Robin Walters; Rose Yu·· 2025-05-01精选AI 评分81

通过参数空间对称性理解模式连通性

Understanding Mode Connectivity via Parameter Space Symmetry

AI 导读

基于摘要分析。本文研究神经网络不同极小值之间为何可能存在训练损失与测试损失近乎不变的连接路径,即模式连通性(mode connectivity),提出以参数空间对称性解释极小值集合的连通结构。主要贡献是将对称群的拓扑与极小值集合的拓扑联系起来,并分析模式连通性与线性模式连通性成立或失效的条件。 作者报告,在所分析的线性网络设定下,推导了极小值集合的连通分支数量,并表明跳跃连接会减少这一数量。研究进一步利用覆盖极小值集合相当一部分的参数对称性,给出由对称性诱导的极小值连接曲线的显式表达,再依据曲线曲率推导线性模式连通性近似成立的条件。曲线路径上的低损失并不直接等同于端点之间直线插值的低损失,这一区分是理解模型合并可行性的重要理论切入点。 摘要未交代具体网络配置、数据集、实验规模或定量验证结果;定理假设、向非线性网络推广的范围、实验协议、消融及统计信息尚未验证。不能据此认定任意训练得到的模型都可通过线性插值合并。 平台推测(待验证):若 EEG 解码网络具有可识别的连续参数对称性,该框架可能帮助区分参数坐标不一致与功能差异对模型合并的影响;可复用的是对称性分析和路径损失检验,需按具体网络重新确定对称变换及其成立条件。低信噪比、跨被试分布差异、通道不一致和小数据训练可能使对称性对齐不足以保证合并有效。一个可检验的假设是:在固定通道、相同架构和同一被试内数据划分下,对不同随机初始化得到的 EEG 模型进行适用的对称性对齐,比较对齐前后直线插值路径的损失屏障及留出集表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于作者通过参数空间对称群的拓扑研究极小值集合的连通性,并给出连接曲线及近似线性模式连通的条件,可用于核对模型合并的理论前提,但其对 EEG 模型的适用性尚未验证。

来源:OpenReview · State space models · openreview.net