共享地址空间中快权重与慢权重的几何结构
The Geometry of Fast and Slow Weights In A Shared Address Space
基于摘要分析。本文研究 state-space models(SSMs)中快权重记忆与经典循环神经网络固定连接权重之间的关系,提出快慢权重共享低秩投影空间的理论框架,并据此设计 SSM,分析任务内学习中两类权重模式的贡献。 核心机制是从结构连接出发,为慢权重与快权重推导共同投影空间,并将其分别关联到均值与方差模式。该框架以共同的突触前空间或地址空间描述输入的固定连接路径,以不同的突触后子空间或内容空间描述两类权重,从几何和动力学角度解释快权重。这里的突触术语服务于权重结构的理论描述,不能据此认定模型具有生物神经机制验证。 作者报告,在慢权重子空间内进行 delta-rule 修正,相比普通快权重更新可减少干扰;由此区分存储于快权重的上下文学习或测试时学习,与更长期的功能属性。作者还报告,所设计 SSM 在任务内学习中取得有竞争力的结果,但摘要未提供任务、数据集、指标、对照基线或数值,不能据此判断效果大小或跨任务泛化能力。具体投影构造、更新公式、训练与推理设置,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 序列建模需要兼顾稳定表征与在线变化,该框架可能提供将长期参数与短期记忆分离的机制。此假设依赖 EEG 输入存在可利用的低秩共享结构,以及快权重更新能获得适当的任务信号;可复用的是共享投影和受子空间约束的更新思路,需改造输入表征、通道映射及在线更新目标。低信噪比可能使快速记忆吸收伪迹,跨被试或跨通道变化可能破坏共享空间,小数据也可能使投影估计不稳。一个可检验的小实验是,在固定 EEG 任务、相同数据划分和更新预算下,对照普通快权重更新与慢权重子空间内的 delta-rule 修正,观察序列扰动后的任务性能及旧信息保持程度;这仅是迁移假设,不是本文已验证结果。已有 EEG 相关工作尚未检索确认。
值得阅读其快慢权重共享低秩投影空间的理论解释,以及 delta-rule 在慢权重子空间内降低干扰的机制;具体性能与 EEG 迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net