跳到正文
OpenReview · State space models· Bo Zhao; Nima Dehmamy; Robin Walters; Rose Yu·· 2024-09-28精选AI 评分81

通过参数空间对称性理解模式连通性

Understanding Mode Connectivity via Parameter Space Symmetry

AI 导读

基于摘要分析。本文研究神经网络不同极小值之间为何存在训练与测试损失近乎恒定的连接曲线,即模式连通性(mode connectivity),提出利用参数空间对称性解释损失景观连通结构的理论路径。主要研究对象是神经网络极小值的几何与拓扑性质,而非 EEG 或 BCI 任务。 核心机制是将对称群的拓扑与极小值集合的拓扑联系起来。作者报告,推导了线性网络极小值集合的连通分支数量,并表明跳跃连接可以减少该数量;随后利用能够描述极小值集合重要部分的参数对称性,分析模式连通性及线性模式连通性成立或失效的条件。作者还给出对称性诱导的极小值连接曲线的显式表达式,并通过曲线曲率推导线性模式连通性近似成立的条件。摘要未提供具体定理假设、网络结构、实验数据或量化结果,证明适用范围、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码网络具有本文所分析的参数对称性,该理论可能帮助区分参数表示差异与实际预测功能差异,为模型合并提供分析依据。可复用部分是对称性与连接曲线的分析框架;需改造或核对的是具体 EEG 架构、非线性模块及训练目标是否满足理论假设。它并不直接解决低信噪比、跨被试或跨通道分布变化,小数据下端点模型的泛化不稳定也可能使低训练损失连接路径缺乏测试价值。 一个可检验的小实验是假设在固定通道、固定被试内划分的 EEG 任务上,比较不同初始化模型之间的直接参数插值与适用的对称性诱导路径,记录路径上的训练及独立测试损失,检验后者是否更接近恒定损失。该实验须先核对全文中的适用条件;已有 EEG 相关工作尚未检索确认。

阅读价值

该研究以参数空间连续对称性解释极小值的连通结构,并给出对称性诱导连接曲线及线性模式连通性的近似条件,值得用于审视模型合并的理论前提;其对 EEG 模型的适用性尚未验证。

来源:OpenReview · State space models · openreview.net