跳到正文
OpenReview · Representation learning·· 2026-09-11精选AI 评分73

深度残差网络中的逐层随机动力学:初始化与表征学习后的经验系统辨识

Layerwise Stochastic Dynamics in Deep Residual Networks: Empirical System Identification at Initialization and after Representation Learning

AI 导读

基于摘要分析。该研究针对标准有限深度 ResNet 内部表征动力学缺少数据驱动辨识的问题,将残差块深度视为离散时间、输入样本视为随机总体,比较 Pre-act 与 Post-act ResNet152 在随机初始化和 ImageNet-1K 训练后的表征演化,提出以经验辨识的随机过程参数量化架构与表征学习的影响。 方法上,研究先利用平方位移(SD)与时间奇异值分解(SVD)评估扩散性的时间结构,再辨识具有特征特异性参数的 AR(1) 模型,并将样本峰度映射为广义误差分布(GED)的形状参数,以刻画涨落分布。这里的“时间”对应网络深度,而非输入信号的真实时间。 作者报告,在考察的深度范围内,两类架构在初始化及训练后的内部表征演化均可由 AR(1) 型离散随机过程有效描述,但转移参数分布随架构和训练状态明显变化。Pre-act 的自回归系数集中于单位根附近,表现为类似随机游走的扩散;带有残差相加后 ReLU 的 Post-act 则表现为 Ornstein–Uhlenbeck(OU)型均值回归动力学。作者还报告,训练会使与状态无关的截距项发生系统性变化,上述现象在随机选取的 30 个 ImageNet-1K 类别中一致出现。作者据此认为,架构影响均值回归及涨落分布形状,表征学习则塑造与任务适应有关的状态无关漂移分量。 摘要未给出具体深度区间、样本规模、拟合优度、参数不确定性及替代随机过程的比较细节,实验协议、消融及统计信息尚未验证;这些信息决定了 AR(1) 描述的适用边界。 平台推测(待验证):该框架可能用于分析残差式 EEG 编码器的逐层表征变化,而非直接作为 EEG 解码算法。假设其适用于具有可比较层间特征坐标的模型,可复用 SD、时间 SVD 和 AR(1) 参数估计,但需适配通道与特征维度,并区分网络深度和 EEG 时间轴。低信噪比、被试差异及小样本可能使参数估计不稳定。一个可证伪的小实验是在固定 EEG 数据划分下,对比同一残差编码器初始化与训练后的拟合残差及参数稳定性,检验该随机过程描述是否成立;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于用可估计的随机过程参数区分 ResNet 架构与训练状态对层间表征演化的影响,但其解释范围及向 EEG 模型迁移的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net