跳到正文
OpenReview · Representation learning· Evgenii Aleksandrovich Dzhivelikian; Petr Kuderov; Aleksandr Panov·· 2023-09-23精选AI 评分72

使用 Distributed Hebbian Temporal Memory 学习后继表征

Learning Successor Representations with Distributed Hebbian Temporal Memory

AI 导读

基于摘要分析。本文研究非平稳、部分可观测环境下,面向不确定性决策的在线隐表征学习,提出 Distributed Hebbian Temporal Memory(DHTM),通过学习序列关系并累积预测未来观测来构建后继表征(Successor Representation,SR)。主要研究对象是通用序列建模与决策表征,而非 EEG 或 BCI。 机制上,DHTM 基于因子图形式体系和多组分神经元模型,借鉴新皮层的神经生理模型,结合分布式表征、稀疏转移矩阵与局部 Hebbian-like 学习规则。作者希望以此缓解传统时序模型在线学习中的不稳定与学习缓慢问题。摘要未给出具体更新方程、监督信号、状态编码方式及计算成本,这些实现条件尚未验证。 作者报告,在所述变化环境实验中,DHTM 优于经典 LSTM,与更先进的 RNN-like 算法表现相当,并加速了用于 SR 的 Temporal Difference 学习;作者还将 DHTM 生成的 SR 与受生物机制启发的 HMM-like 算法 CSCG 进行了比较。摘要未提供任务、数据规模、评价指标或具体数值,因此无法判断优势的幅度与适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务中的时间依赖可由稀疏潜在状态转移描述,DHTM 的在线状态表征与局部更新机制可能用于研究信号分布变化下的序列建模。可复用部分是转移建模与在线更新机制,需改造部分是连续、多通道 EEG 到分布式状态表征的映射。低信噪比、跨被试差异、通道变化和小数据可能使状态划分不稳定。一个可证伪的小实验是假设固定同一 EEG 特征提取器,在严格按时间顺序划分的跨会话数据上比较 DHTM 与 LSTM 的在线预测误差、适应速度及更新成本,并核对测试标签使用方式。该迁移尚无本文证据支持,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是将因子图、稀疏状态转移与局部 Hebbian-like 学习结合,用于变化环境中的在线 Successor Representation 学习;其相对 LSTM 的优势仍需结合全文实验协议核对,EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net