跳到正文
OpenReview · State space models·· 22 天前精选AI 评分79

通过隐藏状态空间分解提升 Liquid Time-Constant Networks 的长期信息保持能力

Hidden State-Space Decomposition for Long-Term Retention in Liquid Time-Constant Networks

AI 导读

基于摘要分析。本文研究连续时间循环模型中快速写入新信息与长期保持历史信息之间的冲突,提出 State-Space Decomposed Liquid Time-Constant Networks(SSD-LTC),通过分解隐藏状态,将适应性动态演化与持久信息保持分开,同时保留 LTC 的连续时间动力学。 核心机制:LTC 根据当前输入调整状态演化速率,适于处理不规则采样数据,但旧信息会随状态演化逐步衰减,写入与保持依赖同一套动态。SSD-LTC 将隐藏状态分为自适应 liquid 子空间和受控 persistent 子空间:前者遵循 LTC 动力学,后者利用输入依赖的写入速率,平衡新信息写入与原有状态保留。摘要未披露具体方程、子空间维度、损失函数或训练配置。 作者报告,对 LTC 的状态衰减及写入—保持权衡进行了理论刻画,并建立 SSD-LTC 的有界性与稳定性性质。在十个规则采样和八个不规则采样基准上,相对基线 LTC,作者报告分类 Accuracy 提高 2.2–8.0 个百分点,回归与预测误差最高降低 30%;摘要未给出各数据集、划分方式及误差指标,不能据此比较不同任务。作者还报告,受控回忆与组件交换实验支持所学习的 persistent 组件发挥记忆作用。理论成立条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是将短时输入适应与长时信息保持解耦,可能对应 EEG 长序列中历史上下文容易衰减的问题,而非已证实的 BCI 改进。可复用状态分解与写入控制机制;需改造 EEG 通道输入、时间编码及任务输出。原方法适用于规则和不规则采样序列,但监督方式、数据规模及训练细节尚未验证。低信噪比可能使持久组件保留伪迹,跨被试差异和通道变化可能改变写入策略,小数据也可能导致过拟合。一个可检验的假设实验是在固定跨被试划分、相同预处理和匹配训练预算下比较 LTC 与 SSD-LTC,并扫描历史窗口长度,检验长上下文是否带来更稳定的 Accuracy 增益,同时控制 persistent 组件以检验记忆贡献。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其隐藏状态分解能否缓解 LTC 的写入—保持权衡:摘要同时提供理论性质、基准比较与记忆机制实验,但其对 EEG 长时序建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net