跳到正文
arXiv · 表征与预训练· Zhaodong Guo; Haoyun Feng·· 3 天前精选AI 评分78

HiPPO Functional Memory:面向不规则时间序列的坐标可查询注意力

HiPPO Functional Memory: Coordinate-Queryable Attention for Irregular Time Series

AI 导读

基于摘要分析。本文研究不规则时间序列中任意时间坐标的查询问题,提出 HiPPO Functional Memory(HiPPO-FM),将观测历史压缩为可重复使用、按坐标直接读取的固定秩功能状态,避免为每组查询重新处理历史观测。 机制上,HiPPO-FM 不直接保存按观测索引排列的 token 或潜在轨迹,而是将观测写入功能空间,通过匹配的函数几何进行坐标求值。核平滑的 HiPPO 坐标与基于 Gram 的读出构成共享写入/读取机制;压缩前,在已观测支撑位置上执行自注意力,以形成内容相关表征。作者还刻画了由此产生的有限维查询空间,并推导误差分解,区分函数几何近似误差与学习所得记忆的失配。 作者报告,在连续坐标重建、不规则表征学习、真实世界外推及事件序列预测中,该方法相较较强的不规则时间序列基线取得改进,包括 Spiral 重建、20 个 UEA 数据集上的竞争性表现及若干不规则事件基准上的优势。摘要未提供具体指标、数据划分和基线名称,无法据此量化收益或比较不同协议;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务存在采样时间不齐或缺测后按指定时间坐标重建的需求,可检验其可复用功能状态是否减少多次查询成本。原方法依赖带时间坐标的观测,训练监督与数据规模尚未明确;迁移需改造多通道输入和通道身份编码。固定秩压缩与核平滑可能损失短暂 ERP 或高频细节,低信噪比、小数据及跨被试差异也可能影响记忆学习。一个可证伪的小实验是在相同 EEG 被试内划分及缺测掩码下,与插值及不规则时间序列基线比较重建误差、事件波形保真度和多组查询耗时,检验效率收益是否以信号细节损失为代价。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其固定秩功能记忆如何支持不规则历史的重复坐标查询,以及误差分解能否解释压缩与查询精度的权衡;摘要中的性能结论仍需全文实验验证。

来源:arXiv · 表征与预训练 · arxiv.org