跳到正文
OpenReview · State space models· Jakub Smékal; Jimmy T. H. Smith; Michael Kleinman; Dan Biderman; Scott W. Linderman·· 2024-01-01精选AI 评分75

迈向深层状态空间模型学习动态的理论

Towards a theory of learning dynamics in deep state space models

AI 导读

基于摘要分析。本文针对状态空间模型(SSMs)在长序列建模中表现较好、但学习过程理论解释仍不足的问题,研究线性 SSM 在梯度下降下的参数演化,重点考察数据协方差结构、潜在状态维度与初始化的影响。其主要贡献是通过频域视角分析学习动态,并建立一维 SSM 与深层线性前馈网络学习动态之间的联系。 作者报告,在温和假设下,频域分析能够得到学习动态的解析解;作者还分析了潜在状态过参数化对收敛时间的影响。摘要未说明这些假设的具体内容、解析解形式及过参数化影响的方向或幅度,因此不能据此认定扩大状态维度必然加速训练。虽然标题指向深层 SSM 理论,当前明确的研究对象是线性 SSM;扩展到具有非线性连接的深层 SSM 被列为未来工作,而非已完成的理论结论。 平台推测(待验证):若相关假设允许分析 EEG 序列的协方差与频谱结构,该框架可能帮助理解线性 SSM 在低信噪比序列上对初始化和状态维度的敏感性。可复用的是频域学习动态分析思路,需核对或改造的是数据平稳性假设、输入输出与监督设置,以及多通道结构的处理方式;跨被试频谱差异、通道相关性和小数据下不稳定的协方差估计都可能使理论预测失效。一个可检验的小实验是在固定被试内训练与验证划分、损失及优化设置下,改变线性 SSM 的状态维度与初始化,比较实际收敛轨迹是否符合论文理论预测,而不预设其能提高 BCI 解码效果。 摘要未给出具体任务、数据集、被试数或数值指标;理论假设、实验协议、消融及统计信息尚未验证。已有 EEG 相关工作尚未检索确认,复现前需取得全文核对模型定义、推导条件和实现细节。

阅读价值

值得阅读的具体原因是其在温和假设下以频域分析获得线性 SSM 学习动态的解析解,可用于审视数据协方差、初始化和潜在状态规模如何影响训练,但对非线性深层 SSM 与 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net