具有层间非线性的状态空间模型是具有指数衰减记忆的通用逼近器
State-space models with layer-wise nonlinearity are universal approximators with exponential decaying memory
基于摘要分析。本文研究用于序列建模的 state-space models(状态空间模型)的表达能力与记忆限制:作者报告,堆叠带有层间非线性激活的状态空间模型,足以逼近任意连续的序列到序列关系;但这并不意味着模型从根本上解决了记忆随时间指数衰减的问题。 核心机制是通过层间非线性增强序列映射的表达能力,而非依靠时间方向上的非线性激活。作者将通用逼近能力与长期信息保留能力作为两个不同问题讨论,并报告理论分析及数值验证均支持指数衰减记忆限制仍然存在。摘要未给出通用逼近定理的输入域、序列长度、连续性定义、误差度量及其他适用假设,不能将其直接解读为对任意长度序列都能有效学习。具体模型结构、数值验证任务、对照基线、指标、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 任务需要同时建模局部非线性模式与较长时间依赖,该研究可用于区分“增加层间非线性改善表达”与“改善长期记忆”这两种目标。可复用的是状态空间序列模块及层间激活;迁移时需适配多通道 EEG 输入、采样尺度与任务输出。原理论依赖连续序列映射,但所需监督形式与训练规模尚未验证;EEG 的低信噪比、跨被试差异、通道变化及小数据可能使理论表达能力无法转化为可训练的性能。一个可检验的小实验是在固定数据划分、训练预算与近似模型规模下,对比有无层间非线性的模型,并逐步增加任务所需的时间间隔,分别观察任务表现与远距离信息保留能力。该实验仅用于检验迁移假设,不代表已有 EEG 效果;相关 EEG 工作尚未检索确认。
该研究将层间非线性带来的通用逼近能力与指数衰减记忆限制区分开,值得用于审视 state-space models 的表达能力是否足以支持长时依赖,但其理论适用条件及 EEG 迁移效果尚未验证。
来源:OpenReview · State space models · openreview.net