状态空间模型、涌现与遍历性:稳定预测需要多少参数?
State space models, emergence, and ergodicity: How many parameters are needed for stable predictions?
基于摘要分析。本文研究线性动力系统学习中,模型需要多少参数才能在长序列上保持有界预测误差,并以此探讨一种与能力涌现相似的理论相变现象。主要研究对象是线性动力系统及其预测学习问题,而非大语言模型或 BCI。 作者报告:对于每个非遍历线性系统,存在一个临界参数阈值;当学习器参数量低于该阈值时,随着序列长度增大,其误差无法保持有界。该结果表明,在本文理论模型内,具有显著长程相关性的任务对参数规模存在必要要求;它不意味着超过阈值就一定能够成功学习,也不构成对大语言模型涌现机制的直接证明。 作者还考察学习器参数化方式的影响,以实数域上带隐藏状态、观测不完全的随机游走为例,报告线性滤波器要成功学习该过程,其滤波器长度必须超过一个由有效记忆长度与问题时域共同决定的阈值。摘要未给出阈值公式、误差定义、具体观测假设及证明条件,相关理论边界与实验协议尚未验证。 平台推测(待验证):若某类 EEG 序列确有与上述假设相符的长程相关结构,该理论可用于提出“有限记忆预测器是否存在容量下限”的问题,但不能直接推导 EEG 的非遍历性或所需参数量。可复用的是线性状态空间与有限长度滤波器的分析视角,需改造的是观测噪声、通道耦合及跨被试变化的建模;低信噪比和小数据也可能使增加记忆长度仅带来估计方差上升。一个可检验的假设是:在固定数据划分与训练样本量下,逐步增加线性滤波器长度,比较不同预测时域的留出误差是否出现稳定转折,并以具有已知记忆结构的合成序列作对照。该实验只能检验现象,不能独立验证理论前提;相关 EEG 工作尚未检索确认。
值得阅读其关于长程相关任务中参数规模与有界预测误差之间临界关系的理论分析,但该结论限定于所研究的线性动力系统,不能直接作为大语言模型涌现或 EEG 建模有效性的证据。
来源:OpenReview · State space models · openreview.net