预测秩语言建模：衡量语言模型的表征容量

基于摘要分析。本文研究语言模型中预测信息的维度、强度与有限表征容量如何相互作用，提出 Predictive Rank Language Modeling（PRLM）：一种预测变量已知、未来 token 分布可调的受控下一 token 学习环境，用于区分表征的可解码性、局部结构与因果使用。 PRLM 同时改变预测秩、预测谱、信号强度及残差宽度，但仅向模型提供 token 序列。作者报告，在 20 种秩—宽度配置中观察到渐进的容量边界：预测秩增加时，预测增益捕获与全局状态可解码性均下降；残差宽度增加时，两者均改善。作者报告，在固定预测秩且 Bayes KL 近似匹配的对照条件下，集中预测能量可使预测增益捕获比例从 27.2% 提升至 82.6%；该指标不是 token 预测 Accuracy，不能混同比较。 作者报告，在容量过载条件下，全局解码较弱仍可与稳定的局部效应及被模型因果使用的预测成分并存；稀疏自编码器也可能准确重建激活，却不能可靠恢复已知概念。这些结果提示，重建质量或单一解码指标不足以独立判断模型是否恢复或使用了目标变量。具体模型结构、指标定义、因果干预方式、数据划分、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的是已知潜变量的受控评估思路，而非已证实的 EEG 方法。假设在具有已知潜变量与预测关系的合成 EEG 中，表征可解码性与模型实际使用信息的程度也可能分离。可保留秩、谱和容量的控制框架，但需改造信号生成、时序预测任务与干预方式，并纳入低信噪比、通道混合、被试差异和小数据条件；这些因素可能使解码失败被误认为容量不足。一个小实验是在固定预测秩和近似匹配预测信息量时改变预测谱集中度，联合比较预测增益、潜变量解码及干预效应。已有 EEG 相关工作尚未检索确认。