深度对深层线性状态空间模型表达能力的影响
The Effect of Depth on the Expressivity of Deep Linear State-Space Models
基于摘要分析。本文研究深层线性状态空间模型(SSMs)中深度与宽度如何影响表达能力,核心贡献是区分无参数约束与参数范数受限两种情形,并给出浅层模型的深层表示构造及所需最小深度的上界。 作者报告,在不施加参数约束、且参数数量保持同一数量级的前提下,增加深度与增加宽度对表达能力通常等价;这一结论不能直接理解为两者在训练难度或实际预测性能上等价。施加参数范数约束后,深度与宽度的作用出现显著差异:作者通过构造性方法,将参数范数较大的浅层线性 SSM 表示为参数范数较小的深层线性 SSM,说明在范数约束下,深层模型更有能力表示大范数目标。作者还推导了受限范数条件下实现这种表示所需最小深度的上界,并报告以数值实验验证理论结果。 上述结论的研究对象是线性 SSM,不宜直接推广到含非线性模块的序列架构。具体范数定义、模型表示的等价条件、深度上界形式以及数值实验设置均需全文核对;实验协议、消融及统计信息尚未验证。摘要未提供 EEG 数据、被试划分或 BCI 任务结果。 平台推测(待验证):若 EEG 序列建模采用带显式参数范数约束的线性 SSM,该理论可能帮助区分深度收益究竟来自表达能力还是参数规模。可复用的是线性状态空间表示及范数约束分析,需针对 EEG 的输入通道、序列长度和任务读出进行适配。假设是:在参数量同一数量级且范数约束一致时,增加深度可能比增加宽度更有利于表示某些目标映射;但 EEG 低信噪比、跨被试差异、通道变化及小数据条件可能使理论表达优势无法转化为泛化收益。一个可检验的小实验是在固定 EEG 任务与数据划分下,对比参数量同一数量级的深窄、浅宽线性 SSM,同时设置有、无范数约束两组,分别观察拟合与留出集表现。相关 EEG 工作尚未检索确认。
该研究提供了区分参数规模与参数范数约束下深度作用的理论视角,值得用于审视 SSM 深度设计的依据,但其对 EEG 建模的适用性尚未验证。
来源:OpenReview · State space models · openreview.net