跳到正文
OpenReview · State space models· Tommaso Salvatori; Beren Millidge; Yuhang Song; Rafal Bogacz; Thomas Lukasiewicz·· 2024-01-01精选AI 评分72

特征空间中的联想记忆

Associative Memories in the Feature Space

AI 导读

基于摘要分析。本文研究图像自联想记忆在输入受损时的检索问题,核心方法是使用经对比损失预训练的网络,将相似性计算从原始像素空间转移到嵌入空间;另提出仅存储低维语义嵌入、恢复相似但不完全相同记忆的模型类别。 机制上,作者认为像素相似性缺乏图像语义信息,因而常见记忆模型即使面对人类容易识别的轻微损坏,也可能检索失败。语义嵌入用于改变检索依据,而不仅是压缩原始输入。作者报告,当嵌入维度显著低于像素空间维度时,相似性分数的计算也更快。摘要未给出具体预训练网络、对比损失形式、检索规则或速度测量协议。 作者报告在 CIFAR10 和 STL10 等图像数据集上测试了嵌入空间检索方法;对于不再保存完整像素数据、仅保存低维语义嵌入的方案,则在 MNIST 简单任务上提供概念验证。后者的目标是恢复相似而非完全一致的记忆,不能等同于原始样本的精确重建。摘要未提供检索指标、损坏类型、数据划分、对照数值或存储收益,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 编码器能够保留任务相关信息,并抑制噪声与被试差异,嵌入空间相似性检索或可用于受扰 EEG 的参考样本匹配。这一假设依赖可用的预训练数据及适合 EEG 的正负样本定义;可复用的是嵌入检索机制,需改造的是时序编码器与对比学习增强策略。低信噪比、通道配置变化和小数据可能使嵌入优先编码伪迹或被试身份。一个可证伪的小实验是固定同一 EEG 数据划分和候选记忆库,对照原始信号与对比学习嵌入的检索表现,并在相同噪声扰动下检验任务标签匹配率。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是将自联想记忆的相似性计算从像素空间移至对比学习表征空间,并区分精确检索与仅存储语义嵌入的近似记忆恢复;其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net