跳到正文
OpenReview · State space models·· 27 天前精选AI 评分80

Oscillatory Delta Networks:相位寻址关联记忆

Oscillatory Delta Networks: Phase-Addressed Associative Memory

AI 导读

基于摘要分析。该研究针对线性注意力及 delta-rule 变体中固定大小矩阵记忆的写入干扰,提出 Oscillatory Delta Networks(ODN):在每次 delta-rule 写入前,沿保体积轨道搬运记忆,使键值关联同时由内容键和内部写入时间寻址。其主要研究对象是序列关联记忆与语言建模,而非 EEG 或 BCI。 机制与理论:作者分析认为,训练后的 DeltaNets 会产生高度相关的键,从而发生相互覆盖;正交键才能充分利用此类记忆容量。旋转版本 ODN-SO(2) 为每个注意力头设置一个输入依赖时钟,用于推进一组振荡器,通过相位变化降低有效地址的重叠。作者报告证明:在适当的振荡频谱与时钟条件下,即使所有写入使用同一个键,振荡式内容寻址也能达到记忆的理论容量上限,而静态内容寻址仅保留最近写入的值。ODN-SL(2) 将记忆搬运扩展为特殊线性变换,并在同一时钟下学习各轨道的几何形态;具体证明条件与更新公式尚未验证。 实验与证据边界:作者报告,ODN-SO(2) 和 ODN-SL(2) 在语言建模中优于 Gated DeltaNet、Selective Rope 和 Kimi Delta Attention(KDA),且相比通道级门控路线更有效、参数效率更高。摘要未提供数据集、模型规模、指标数值、训练预算或评估划分,无法据此判断优势幅度及比较条件;实验协议、消融及统计信息尚未验证。生物脑回路中的振荡相位依赖短期记忆编码是设计灵感,不构成神经信号应用验证。 平台推测(待验证):假设 EEG 序列编码中存在相关输入反复写入并覆盖长期信息的问题,相位寻址可能提供可检验的记忆机制。可复用的是 delta-rule 矩阵状态与记忆搬运操作,需改造 EEG 输入编码、时间尺度及任务监督接口;内部时钟不能直接等同于 EEG 生理相位。低信噪比、跨被试差异、通道变化和小数据可能使时钟学习不稳定。一个小规模检验是在固定 EEG 数据划分及匹配训练预算下,对照 Gated DeltaNet 与 ODN-SO(2),观察长时依赖任务表现及有效写入地址重叠是否同步改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其利用振荡相位缓解固定大小关联记忆中相关键覆盖的机制与容量证明,但摘要中的语言建模优势及其对 EEG 的迁移价值仍需验证。

来源:OpenReview · State space models · openreview.net