预测并非充分的记忆状态
Prediction Is Not a Sufficient Memory State
基于摘要分析。本文研究精确累积学习与注意力中的记忆充分性:即使一个记忆状态能够复现所有当前预测,也可能丢失处理下一次观测所需的信息。核心贡献是刻画精确更新所需的状态维度及压缩限制,而非提出新的回归算法。 作者报告,对于光滑凸残差损失,在实值特征与标签不受限制、递归状态连续且维度固定的条件下,存在精确累积学习状态当且仅当损失为多项式。对普通、未加权观测,D 次损失恰好需要 r=binom(d+D,D)−1 个坐标;即使限定历史具有同一个当前预测器,后续更新仍可能恰好需要 r−d 个坐标。非多项式损失在这类当前预测相同的历史上具有无界的状态需求。摘要还指出,有界标量 logistic 示例即使固定任意有限阶导数信息,仍保留这一障碍。 在 ridge regression 中,作者将预测器之外的隐含证据归于设计矩阵,报告精确状态需要 dp+d(d+1)/2 个坐标,而预测器本身仅需 dp 个。对于条件良好、当前预测为零的一族问题,作者报告最优 B 比特压缩的平均单次更新误差量级为 d^−1·2^(−2B/s_d),其中 s_d=d(d+1)/2;该结论也涵盖任意随机化编码。上述量级依赖这一特定问题族,不能直接视为实际模型的误差预测。论文另给出 kernel attention 的精确闭合分类,但摘要未展开具体条件。 这些结论针对精确学习与特定正则性条件,不宜直接外推到近似学习、有限精度或受限数据分布。证明细节、误差度量及实验协议尚未验证。本文未提供 EEG/BCI 验证;其对神经信号在线更新或递归记忆设计的适用性仍待评估,已有 EEG 相关工作尚未检索确认。
值得关注其对“保留当前预测”与“保留未来更新所需证据”的严格区分,可为评估递归状态压缩的理论边界提供依据,但不构成训练模型或 BCI 性能提升的证据。
来源:OpenReview · State space models · openreview.net