预测应读取哪个状态？状态–预测分离的机制分析

基于摘要分析。本文研究语言建模中的 State-Prediction Separation（SPS）：持久状态与下一 token 预测虽使用不同槽位，但共享全部权重时，两者是否及如何形成角色分工仍不明确。作者将两个流的权重分开，分析信息流，并提出让每个预测层读取最终状态的 Sequential 模型。 机制方面，作者报告，状态流集中保存前序信息，预测流则表现出更强的 induction matching，即匹配先前出现的 token 并检索其后续内容。消融状态流中处理前一 token 的注意力头，会选择性削弱预测流的检索能力；限制对较早状态的访问也会使损失变差。这些干预支持状态信息参与预测检索的解释，但具体实现与统计稳健性尚未验证。 读取位置方面，作者报告，仅允许预测访问最深层状态的损失代价，远小于仅访问最浅层状态；而原 SPS 不读取其最顶层状态。据此，Sequential 将最终状态提供给每个预测层。每个塔的深度均与 Transformer 相同时，在参数量和 FLOPs 匹配条件下，Sequential 的跨随机种子平均损失比同深度读取的 Two-tower 低 0.031 nats/token。每个塔层数减半的较小 Sequential，在使用 SPS 的 55% FLOPs 时，损失与 SPS 相差不超过 0.005 nats/token；在非嵌入参数量与 FLOPs 匹配条件下，其损失比 Transformer 低 0.064 nats/token。摘要未提供数据集、训练规模、种子数量及误差范围，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，将时序上下文的持久状态维护与预测读取分离，可能有助于分析 EEG 自监督下一片段预测中的信息保留与利用。原机制依赖有序 token、重复模式及下一 token 监督；用于连续、多通道 EEG 时，需要改造输入表示、预测目标与通道融合，不能直接假定 induction matching 仍然有效。低信噪比、跨被试变化及小数据可能削弱重复模式检索。一个可证伪的小实验是在固定 EEG 数据划分、上下文长度和计算预算下，比较同深度读取与最终状态读取，并干预历史状态访问，检验预测误差及读取优势是否稳定存在。已有 EEG 相关工作尚未检索确认。