跳到正文
OpenReview · State space models· Jonas Weigand; Gerben Izaak Beintema; Jonas Ulmen; Daniel Görges; Roland Tóth; Maarten Schoukens; Martin Ruskowski·· 2024-01-01精选AI 评分75

连续时间深度神经网络的状态导数归一化

State Derivative Normalization for Continuous-Time Deep Neural Networks

AI 导读

基于摘要分析。本文研究连续时间状态空间模型辨识中的归一化问题:隐藏状态、状态导数或时间区间的尺度不当,可能引发数值计算与优化困难,降低模型质量。作者提出在状态导数层面引入归一化常数,以统一处理这三类相互耦合的尺度问题。 核心机制是将状态、状态导数与时间尺度的归一化视为关联问题,而非彼此独立的预处理步骤。作者指出,合适的归一化常数与待辨识系统的动态特性有关,并推导了多种获取有效常数的方法。摘要未给出具体公式、常数估计流程、网络结构或训练配置,这些细节尚未验证。 作者报告在基于串联水箱系统实验数据的基准问题上,比较和讨论了各类归一化策略,并与系统辨识文献中的其他方法进行了对照。摘要未提供定量指标或明确的性能提升幅度,因此尚不能判断其收益大小及适用边界;数据划分、对照配置、消融及统计信息尚未验证。原论文主要研究对象是连续时间动力系统辨识,并非 EEG 或 BCI。 平台推测(待验证):若 EEG 任务采用连续时间隐状态模型,该方法可能有助于处理采样时间尺度与隐状态导数尺度不匹配所造成的优化不稳定。此迁移假设依赖带时间信息的序列数据及可辨识的动态结构,监督形式和所需数据规模尚需核对。可考虑复用导数尺度归一化机制,但常数估计需适配 EEG 的非平稳性、被试差异及通道尺度;低信噪比和小数据可能使动态尺度估计不稳定,单一常数也未必适合不同通道或状态。一个可证伪的小实验是在固定被试内划分、相同模型与训练预算下,对比引入与不引入该归一化的连续时间模型,观察训练稳定性及预先指定的任务指标,并检查不同采样时间尺度下的敏感性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其状态导数归一化常数的选取方法,以及如何协调连续时间模型中状态、导数与时间尺度的数值条件;对 EEG 连续时间建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net