长记忆的代价:序列模型中的状态、上下文与稳定性复杂度
The Cost of Long Memory: State, Context, and Stability Complexity in Sequence Models
基于摘要分析。本文研究序列预测中的资源问题:给定预测记忆的衰减规律,准确预测需要多少状态、上下文长度,以及多接近动力学临界状态。核心贡献是在预测风险这一度量下,为典型代数衰减记忆目标建立匹配的近似上下界,并分析分数阶长记忆与非线性收缩递推的限制。 作者报告,对于所研究的代数衰减预测目标,最优 r 模态预测误差按 e^{-Θ(√r)} 衰减,因此达到误差 τ 需要 Θ(log²(1/τ)) 个状态或模态。该结论针对特定目标与风险定义,不能直接扩展为所有长序列任务的通用容量定律。相较于采用其他近似概念的既有 curse-of-memory 结果,本文强调同一预测目标下上下界的匹配。 对于真正的分数阶长记忆,作者指出误差须在分数阶积分后衡量,长度为 L 的有限上下文预测具有精确的 1/L 主导阶;固定分数阶强度 d 时,状态复杂度仍遵循上述平方对数规律。接近短记忆边界时,作者识别出 d² 与 d⁴ 尺度,并给出中间区域的统一构造规律,具体适用条件尚需全文核对。 对于状态动力学一致收缩的非线性上下文递推,作者推导指数型 first-chaos 包络及精度与收缩裕度之间的必要条件:在代数目标上使预测误差趋零,会迫使递推定量地接近临界状态,但这一条件本身不充分。作者报告,配合定理条件的状态空间、门控递推及注意力模型实验重现了容量与稳定性预测;匹配收缩率的指数记忆对照几乎可被精确拟合,提示误差下限取决于目标尾部与收缩裕度的兼容性,而非仅由代数衰减形式决定。实验协议、误差定义、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 预测目标确实具有相应的代数预测记忆,本文可能帮助区分有限上下文、状态容量和过强收缩导致的瓶颈;可复用的是复杂度分析与匹配尾部对照,需改造的是多通道观测与噪声假设。低信噪比、跨被试非平稳性及小数据可能掩盖该规律。可在固定被试内划分下改变状态容量、上下文和收缩裕度,检验预测误差趋势是否符合理论,并设置匹配指数记忆的合成对照。该实验不等同于 BCI 解码验证,已有 EEG 相关工作尚未检索确认。
值得阅读的是作者在预测风险下给出特定长记忆目标的匹配复杂度上下界,并将有限上下文、状态容量与收缩稳定性联系起来;其对 EEG 建模的适用性尚未验证。
来源:OpenReview · State space models · openreview.net