跳到正文
OpenReview · State space models· Sho Sonoda; Yuka Hashimoto; Isao Ishikawa; Masahiro Ikeda·· 2025-09-08精选AI 评分77

为什么以及何时深层优于浅层:从实现无关的状态转移视角理解深度优势

Why and When Deep is Better than Shallow: An Implementation-Agnostic State-Transition View of Depth Supremacy

AI 导读

基于摘要分析。本文研究深层模型何时比浅层模型具有更好的泛化误差界,核心贡献是以一般度量空间上的抽象状态转移半群描述深层模型,将深度带来的统计效应与 ReLU 网络、transformer、chain-of-thought 等具体实现分离。 作者报告,定理 1 给出一种偏差—方差分解,其中方差仅依赖抽象的深度 k 网络,而不依赖其具体实现。定理 2 进一步将界拆分为输出部分和隐藏部分,并通过状态转移半群的度量熵刻画方差对深度的依赖。随后,论文讨论方差随深度呈多项式或对数增长的实现无关条件。 作者将上述方差增长方式与指数或多项式偏差衰减结合,得到 EL、EP、PL、PP 四类偏差—方差权衡情形,并推导显式最优深度 k*。作者报告,在这些情形中,k*>1 通常成立;四类情形中,指数偏差衰减与对数方差增长相结合的 EL 情形获得最低的泛化误差界。这里的结论针对满足相应条件的理论误差界,不能直接等同于任意深层模型在实际任务上优于浅层模型。 摘要将 neural ODEs、diffusion/score-matching models 和 chain-of-thought reasoning 等迭代或层次化概念类列为该框架的相关对象,但未提供具体实验数据与指标。全文中的采样假设、度量熵条件、常数项、界的紧致性,以及实验协议、消融及统计信息尚未验证。材料未提供 EEG/BCI 的直接理论对应或验证结果,因此不据此推断增加深度能够改善神经信号解码。

阅读价值

值得阅读之处在于将深度的理论收益与具体网络实现分离,并用偏差衰减和方差增长的组合刻画最优深度;这些结论的适用性仍需核对全文中的假设与界的紧致性。

来源:OpenReview · State space models · openreview.net