空间之间:论折叠、对称性与采样
The Space Between: On Folding, Symmetries and Sampling
基于摘要分析。本文研究神经网络如何通过空间折叠表征数据中的对称性,以及如何量化这一现象;核心贡献是通过引入输入数据的等价类,将基于 ReLU 激活空间中 Hamming distance 的折叠度量推广到更广泛的激活函数,并分析其数学与计算性质、提出高效采样策略。 原有度量针对 ReLU 网络连续层对输入空间的折叠。本文的推广以输入等价类为基础,但摘要未给出等价关系的具体定义、适用激活函数范围、计算复杂度或采样步骤。摘要提及已有观察:在泛化误差较低时,折叠度随网络深度增加;在误差增大时,折叠度下降。作者据此将空间折叠解释为数据流形中所学对称性(例如反射不变性)的表现,并提出鼓励网络寻找较高折叠度解的正则化方案。该关系不宜直接解读为提高折叠度必然改善泛化,摘要也未提供正则化收益的量化结果。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该度量可能用于分析 EEG 模型是否学习了任务相关的不变性,而非仅拟合被试或通道特征;已有 EEG 相关工作尚未检索确认。可复用的是折叠度量与采样思路,需改造的是符合 EEG 生理与任务语义的等价关系,不能直接假定反射等变换保持标签。低信噪比、通道差异及小数据可能使高折叠度对应信息丢失,而不是有效泛化。一个可检验的小实验是在固定 Cross-subject 划分、架构和训练设置下,先测量各层折叠度与留出被试误差的关系,再依据正文定义比较有无折叠正则化的表现;上述均为迁移假设,不是论文已验证的 BCI 结果。
值得阅读其以输入等价类推广空间折叠度量及高效采样的理论路径,但折叠度与泛化的关系、所提出正则化方案的收益及其 EEG 适用性尚未验证。
来源:OpenReview · State space models · openreview.net