跳到正文
OpenReview · State space models· Tatiana Petrova; Evgeny Polyachenko; Radu State·· 2026-05-01精选AI 评分79

连续稠密联想记忆中的几何熵与检索相变

Geometric Entropy and Retrieval Phase Transitions in Continuous Dense Associative Memory

AI 导读

基于摘要分析。本文研究几何约束下连续状态现代 Hopfield 网络(Dense Associative Memory)的热力学记忆容量,将经典成对联想记忆分析扩展至高容量模型,并推导不同核函数下检索与非检索状态的相边界。 作者比较 Gaussian(LSE)与 Epanechnikov(LSR)核,在连续神经元状态受 N 维球面约束、记忆数量按 M = e^{αN} 增长的理论设定下,指出几何熵仅取决于球面几何,而不取决于核函数。作者报告,在尖锐核极限与零温条件下,最大理论容量指数为 α = 0.5;这一数值不是分类 Accuracy,也不能直接对应有限规模模型的实测容量。 两类核的相边界存在定性差异:作者报告,LSE 在所有负载 α > 0 下均存在临界线;LSR 的有限支撑则引入阈值 α_th,低于该阈值时,伪模式不贡献干扰底噪,因此不存在临界线,并在该理论设定下任意温度均可完美检索。摘要未给出阈值的具体表达式、温度定义及推导细节,不能将该结论扩大为真实噪声条件下的普遍鲁棒性保证。有限规模验证、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将归一化 EEG 表征作为联想记忆的查询与存储模式,有限支撑核可能通过排除低相似度模式减少检索干扰,但这是假设,并非本文已验证的 BCI 效果。可复用的是核函数及检索机制,需改造的是 EEG 表征、归一化与支撑范围设定;低信噪比、跨被试偏移、通道变化和小数据可能使真实匹配落在支撑范围之外。一个可检验的小实验是在固定表征、相同记忆库与跨会话划分下比较 LSE、LSR 的检索正确率及拒绝匹配比例,检查干扰减少是否伴随有效匹配丢失。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其对球面几何熵与核函数检索相边界的区分,尤其是有限支撑核如何改变干扰底噪的理论解释;这些结论对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net