跳到正文
OpenReview · State space models·· 26 天前精选AI 评分77

学习基于输入历史路由循环状态

Learning to Route Recurrent State from Input History

AI 导读

基于摘要分析。该研究考察输入历史能否通过控制已存储状态坐标间的交互来改善循环计算,提出循环单元 Input-Conditioned Graph Routing(ICGR)。其核心贡献是将历史条件化的状态路由作为可干预的信息通路研究,而非仅比较最终任务性能。 机制上,紧凑控制器汇总输入前缀,从共享的可学习因子中选择受图结构约束的斜对称算子。路由后的状态流与编码输入形成有界驱动,再结合上下文修正,通过指数保留更新状态。摘要指出,饱和机制与凸组合形式的保留更新可保证任意序列长度下主状态激活有界,但不保证梯度稳定,也未确立对目标输入历史的保留有所改善。 作者报告,在相同参数实例化、但不一定具有相同有效容量的控制实验中,历史条件化在 permuted sequential MNIST(pSMNIST)和字符级 Penn Treebank 上优于可学习时间调度与仅依赖当前输入的条件化。在所测试的 pSMNIST 协议下,匹配支撑结构与先验谱范数的对称路由控制表现较差。作者还报告,供体轨迹和由训练数据构建的类别模板可使预测转向所提供的类别;冻结线性探针从完整路由轨迹解码类别的准确率接近完整模型。这些证据支持路由携带任务相关类别信息,但不能据此认定模型更好地保存了输入历史。 作者报告,ICGR 在所评估配置下的四个基准上具有竞争力,同时说明若干 pSMNIST 基线重跑结果低于其已发表结果,Penn Treebank 上的参数效率表现不一致。摘要未提供具体分数、全部基准名称及完整训练设置;实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是历史条件化路由可用于调节 EEG 时序状态交互,但原研究依赖序列分类或字符预测监督,尚不能证明 BCI 有效性。可复用循环路由单元,需改造 EEG 输入编码与任务输出;低信噪比、跨被试差异、通道变化及小数据可能使控制器学习伪相关。一个可证伪的小实验是在固定 EEG 编码器和数据划分下,对比历史条件化、当前输入条件化与时间调度,并干预路由轨迹,检验性能变化是否确由路由信息贡献。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其通过配对控制、路由干预和线性探针检验历史条件化路由的信息作用,并明确区分状态有界、梯度稳定与历史保留能力,便于核对机制结论的证据边界。

来源:OpenReview · State space models · openreview.net