为何以及何时深层优于浅层:实现无关的深度学习状态转移模型
Why and When Deep is Better than Shallow: Implementation-Agnostic State-Transition Model of Deep Learning
基于摘要分析。本文研究在固定隐藏层类别、仅改变层数的条件下,增加深度何时有助于泛化,并以状态转移的复合复杂度统一分析深度带来的估计误差与近似收益。其比较对象是由相同隐藏层类别构成的深浅网络,而不是深层网络与更宽的浅层网络。 核心机制是将隐藏层视为状态空间上的自映射,由同一隐藏层类别 F 构造嵌套假设族 H₀⊂H₁⊂⋯;深度为 k 的网络至多复合 k 个隐藏层,再接输出层。作者以复合集合 B(k,F) 的度量熵刻画深度的统计代价,报告估计误差可由该集合上的熵积分上界控制,且上界中的常数不依赖深度。当输出层能够观测隐藏状态时,作者还报告了相匹配的下界;这一条件不能省略。 作者报告,在有界状态空间上的 Lipschitz 层条件下,相关熵随 k 至多呈多项式增长;在收缩、等度连续或幂零结构等条件下,熵可保持有界或仅按 log k 增长。通过平衡估计误差与近似误差,分析得到随样本量 n 增长的深度选择 k*(n),并区分估计误差是否随深度增长的模型类别。这些结论不等同于任意网络加深都能改善泛化。 摘要列举了 Deep ReLU networks、展开式求解器和 chain-of-thought computation 的分析,后两者的计算步数由理论推导而非预先假定。作者报告全部陈述均经 Lean 4 机器检查;具体形式化定义、定理假设及覆盖范围仍需全文核对,机器检查也不替代经验验证。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该框架可能用于分析重复状态转移或展开式 EEG 模型的深度代价,但需先核对实际模块是否满足有界性、Lipschitz 或收缩等条件,以及输出层的可观测性。低信噪比、跨被试分布差异和小样本条件下的泛化不能由原文结论直接推出;已有 EEG 相关工作尚未检索确认。
值得阅读的具体原因是作者用隐藏层复合集合的度量熵刻画深度的统计代价,并给出该代价受控的结构条件;其对 EEG 模型深度选择的适用性尚未验证。
来源:OpenReview · State space models · openreview.net