跳到正文
OpenReview · State space models·· 27 天前精选AI 评分76

通过隐藏状态分区从 RNN 中学习加权自动机

Learning Weighted Automata from Recurrent Neural Networks using Hidden-State Partitioning

AI 导读

基于摘要分析。本文针对 RNN 隐藏状态难以解释的问题,在标准 L* 主动学习框架下提取加权有限自动机(Weighted Finite Automata,WFAs),核心贡献是借助隐藏状态空间的迭代分区,比较候选 WFA 与原 RNN 的行为并回答等价查询。 方法逐步细化 RNN 隐藏状态分区,直至各分区得到充分探索且相对方差较小。分区用于引导搜索候选 WFA 与 RNN 之间的反例,并在未发现显著差异时提供实用停止判据。作者称在适当条件下给出了提取过程正确性与终止性的理论保证;具体条件、相对方差的定义、探索充分性的判定及误差容限尚未验证。 在与既有 RNN 到 WFA 提取方法的实验比较中,作者报告该方法能够高效提取紧凑且对原 RNN 具有高保真度的 WFA,并且提取时间通常显著降低。摘要未提供任务、数据集、RNN 结构、基线名称或量化指标,实验协议、消融及统计信息尚未验证。这里的保真度指对原 RNN 行为的近似,不等同于原任务准确率提高。 平台推测(待验证):该机制可作为分析 EEG 序列 RNN 决策行为的候选工具,而非已验证的 BCI 解码方法。迁移假设依赖于将 EEG 输入表示为适合自动机查询的序列,并能访问 RNN 隐藏状态及输出;可复用分区细化与反例搜索,需改造输入编码和行为差异度量。连续高维输入、低信噪比及跨被试差异可能使分区膨胀,离散化也可能丢失任务信息。可先在固定被试内划分、冻结的 EEG RNN 上比较不同分区阈值下的 WFA 规模、提取时间与独立测试序列上的输出保真度,检验紧凑性与保真度能否兼得。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以隐藏状态分区实现等价查询和停止判据的自动机提取机制;作者报告可兼顾紧凑性、RNN 行为保真度与提取效率,但理论适用条件和实验协议尚需全文核对。

来源:OpenReview · State space models · openreview.net