理解 Transformer 模型的预测状态瓶颈

研究关注序列预测模型需要多大的内部状态，才能将观测历史压缩为足以预测未来的表示，并以在隐马尔可夫过程上训练的 Transformer 检验决定性因素。基于摘要分析，作者报告，在刻意区分潜在状态数量、完整后验维度与预测状态内在维度的受控过程族中，预测表现的宽度转变随预测状态秩变化。 机制上，论文通过精确滤波构造与瓶颈结果，将上述现象联系到预测表示的几何结构，并利用读出与架构对照区分内部状态容量和输出参数化的影响。作者报告，训练呈现谱有序性；经探针校准的分析表明，连续的 Transformer 块逐渐偏向高方差信念状态方向。当宽度低于预测状态秩时，对低方差模态的抑制超过同等对待各方向的探针零假设；在宽度充分且拟合充分的模型中，该偏向发生反转。作者还报告，因果干预支持被表示的信念状态子空间对预测具有贡献。在所测试的收缩性条件下，滤波对宽度高度敏感，对深度仅弱敏感；这一结论不宜直接推广到其他动力学条件。 平台推测（待验证）：其潜在 EEG 对应是，压缩历史信号时，低方差但与未来预测有关的成分可能被容量受限的表示抑制。可复用的是宽度扫描、探针校准和表示子空间干预的诊断思路；需改造的是从已知隐马尔可夫过程中的信念状态分析，转向具有噪声、通道差异和被试差异的 EEG 表示分析。原研究依赖可控生成过程，真实 EEG 的预测状态秩及其监督依据未必可获得，低信噪比和小数据也可能使谱方向估计不稳定。一个可证伪的小实验是：固定数据划分、训练预算和读出设置，扫描模型宽度，检查低方差表示方向的干预是否稳定影响留出数据的预测误差，而非仅改变训练拟合。相关 EEG 工作尚未检索确认。 摘要未提供具体过程规模、宽度范围、误差指标及数值结果；实验协议、消融及统计信息尚未验证。