跳到正文
OpenReview · State space models· Maarten Schoukens·· 2021-01-01精选AI 评分70

状态空间人工神经网络的改进初始化方法

Improved Initialization of State-Space Artificial Neural Networks

AI 导读

基于摘要分析。本文研究黑箱非线性状态空间模型辨识中的参数初始化问题,提出面向循环人工神经网络表示的改进初始化方法,并强调模型结构中包含显式线性项的重要性。主要研究对象是非线性系统辨识,而非 EEG 或 BCI 解码。 技术机制:人工神经网络用于灵活表示状态方程与输出方程,其权重和偏置需要通过非线性优化求解。本文从非线性系统的线性近似出发初始化部分网络权重,其余权重使用随机值或零初始化,旨在降低优化收敛到性能较差局部极小值的风险。摘要未说明线性近似的获取方式、各类初始化对应的具体参数、网络结构及损失形式,这些实现细节尚未验证。 结果与证据:作者报告在两个基准示例上展示了该方法相对于此前初始化方法的有效性。摘要未提供基准名称、数据划分、对照方法名称、数值指标或不确定性;实验协议、消融及统计信息尚未验证,尤其需要核对初始化策略与显式线性项各自的贡献。 平台推测(待验证):若 EEG 任务采用具有时序状态与输出关系的非线性系统辨识模型,线性近似引导初始化可能为小数据条件下的优化提供较稳定起点。可复用部分是初始化思路与显式线性项,需改造的是 EEG 通道对应的输入输出定义、状态表示及线性近似估计。该假设依赖可估计的线性动态成分和足够的连续时序数据;低信噪比、跨被试动态差异、通道变化或小样本下不可靠的线性估计均可能使其失效。一个可检验的小实验是在固定被试内划分、相同网络与训练预算下,比较该初始化和随机初始化的多次运行结果,并分别核对有无显式线性项时的验证误差及收敛稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其由线性近似引导部分权重初始化并保留显式线性项的具体实现,作者报告在两个基准示例上优于既有初始化方法,但其对 EEG 动态建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net